Спам и плохой бот-трафик всегда попадают на ваш сайт

Кажется, с каждым днем ​​я трачу все больше и больше времени на мониторинг и блокировку спама и плохого бот-трафика.

Неважно, большой у вас блог или веб-сайт; боты бьют его все время.

Когда я проверяю пару своих небольших сайтов, которые посещают очень мало посетителей в день, я всегда вижу постоянный поток автоматизированного трафика ботов.

Но чтобы дать вам представление о том, какая часть веб-трафика является автоматизированной, вредоносной или спамовой, я провел полный аудит Just Publishing Advice. Вот результаты.

Мониторинг спама и плохого бот-трафика

Вероятно, вы проверяете данные о трафике с помощью Google Analytics (GA).

Это один из лучших бесплатных инструментов, позволяющих получить представление о том, насколько хорошо работает ваш блог или веб-сайт.

Нет ничего лучше, чем постоянное увеличение количества пользователей и просмотров страниц.

Но он не сообщает вам, сколько автоматических, подозрительных или злонамеренных посещений получает ваш сайт.

Если вы хотите обнаружить трафик, который GA игнорирует или пропускает, вам нужно копнуть глубже с другими источниками данных.

Я использую несколько инструментов для мониторинга и защиты своего сайта от злоумышленников. К счастью, большинство из них бесплатны.

Единственный платный сервис, которым я пользуюсь, — это Statcounter, который стоит мне всего 9 долларов в месяц.

Он собирает данные, аналогичные GA, но большим преимуществом является то, что он сообщает об IP-адресах и активности исходящих ссылок.

Благодаря этому я могу отслеживать и управлять скребками, автоматическими обращениями ботов и проверять наличие недействительных кликов по объявлениям AdSense.

Теперь перейдем к данным, чтобы показать вам, что я обнаружил.

Подробно о спаме и плохом трафике ботов

В среднем мой сайт посещают около 3500 реальных пользователей в день.

Я всегда хотел бы иметь больше, но это не так уж плохо.

Но это не полная картина.

Когда я проверяю и собираю данные о доступе из других источников, реальное количество посещений моего сайта составляет около 11 500 в день.

Как видите, на моем сайте происходит гораздо больше, чем сообщает большинство инструментов аналитики.

Лучше всего смотреть на эти данные в процентах.

Вот процентная разбивка моего среднего дневного трафика сайта.

Из всех посещений моего сайта каждый день только 32% составляют реальный трафик посетителей.

Тем не менее, это число кажется средним.

Help Net Security сообщила в 2021 году, что автоматизированный трафик составляет 64% интернет-трафика.

Каждый сайт подвержен трафику ботов, так что это факт жизни.

Но все же стоит время от времени проверять посещаемость вашего сайта.

Как получить доступ к спаму и данным трафика плохих ботов для вашего сайта

Как я уже упоминал ранее, я использую в основном бесплатные инструменты.

Это мои линии защиты от спама и плохого бот-трафика.

1. Облачная вспышка

Вы можете подумать, что Cloudflare — это всего лишь CDN для ускорения загрузки вашего сайта.

Но это только дополнительное преимущество бесплатной учетной записи. Реальным преимуществом использования Cloudflare является безопасность.

Его брандмауэр веб-приложений (WAF) — моя первая линия защиты.

Я замаскировал IP-адреса из соображений конфиденциальности. Но вы можете видеть, что общее количество блоков и задач, выпущенных за один день, составляет 1728.

С помощью WAF вы можете установить свои собственные правила брандмауэра или использовать инструменты для блокировки или запроса IP-адресов или ASN.

Это, безусловно, лучший инструмент для управления нежелательным трафиком на вашем сайте.

2. Wordfence

Моя вторая линия защиты — плагин Wordfence на моем сайте.

Он блокирует любой вредоносный трафик, который может пройти через Cloudflare.

Количество блоков меняется день ото дня. Но в среднем он блокирует от 250 до 450 попыток каждый день.

3. Защита сервера

Последняя линия защиты — это сервер Apache моего интернет-провайдера.

Из журналов доступа и ошибок я могу сканировать любые нежелательные действия, заблокированные сервером. Я также могу проверить, не выглядит ли какая-либо разрешенная деятельность подозрительной.

Затем я могу использовать Cloudflare или Wordfence, чтобы следить за любой обнаруженной подозрительной активностью.

Отлов спамеров

Спамеры представляют собой скорее неприятность, чем угрозу.

Но есть относительно простые способы управлять ими.

Плагин WordPress для спама в комментариях

Akismet — это бесплатный плагин, который отлично справляется со спамом в комментариях в вашем блоге.

Точность составляет около 99,5%, так что это работает очень хорошо.

На моем сайте около 4000 законных комментариев. Но Akismet заблокировал более 75 000 спам-комментариев!

Если вы получаете много спама, единственный недостаток заключается в том, что вам придется постоянно удалять спам-комментарии, пойманные Akismet.

Правило брандмауэра Cloudflare для предотвращения спама в комментариях

Чем больше трафика вы получите на свой сайт, тем больше спам-комментариев вы получите.

В этом случае вы можете применить кувалдный подход к проблеме с помощью простого правила брандмауэра Cloudflare, которое будет блокировать спамеров комментариев с вашего сайта.

Преимущество этого правила в том, что оно очень эффективно против спама в комментариях. Единственным небольшим недостатком является то, что это добавляет немного трений для настоящих комментаторов.

Они получат быстрое 2-5-секундное уведомление Cloudflare с надписью « Проверка вашего браузера », прежде чем они смогут опубликовать комментарий.

Большинство людей знакомы с этим, так что это не большая проблема.

Но поскольку спамеры не используют обычный браузер для добавления комментариев, они будут заблокированы.

Чтобы использовать этот метод, добавьте следующее правило в свой брандмауэр Cloudflare.

Имя правила: вы можете выбрать любое имя для идентификации вашего правила.

Поле: Путь URI

Оператор: Содержит

Значение: /wp-comments.php

Действие: Вызов JS

После того, как вы активируете правило, вы можете проверить, насколько хорошо оно работает.

Если вы наведете курсор на процент, вы увидите, сколько задач было решено.

Решенный номер обычно относится к подлинным комментариям, прошедшим испытание JS. Вы можете проверить это в журналах вашего сайта.

Вот журнал подлинного комментария, который прошел и успешно попал в мою очередь на модерацию.

Красный прямоугольник показывает успешную проверку Cloudflare.

Это не правило для большинства сайтов. Но если на ваш сайт попадает много спама в комментариях, это очень эффективно.

Как видите, со временем мне пришлось удалить более 75 000 спам-комментариев.

Но с этим правилом сейчас вряд ли кто пролезет.

Следует отметить, что с этим правилом вы, вероятно, увидите 4 попадания, заблокированные Cloudflare для каждой неудачной попытки спам-комментария.

Это нормально, потому что Cloudflare блокирует действия скрипта, который использует спамер.

Однако для подлинного комментария вы увидите одну запись в своем брандмауэре, потому что пользователь прошел проверку JS.

Так что не паникуйте, если увидите правило, блокирующее 300-400 попыток в день.

Вы по-прежнему можете получать спам-комментарии, если спамер публикует сообщения вручную. Но Акисмет обычно его ловит.

Если вам надоели спамеры в комментариях, это правило брандмауэра сделает эту работу за вас.

SEO-спам по электронной почте

Кампании по распространению ссылок теперь являются не более чем спамом.

В прошлые годы считалось законной практикой запрашивать обратные ссылки.

Но теперь инструменты SEO, такие как Semrush, позволяют легко автоматизировать эти кампании прямо на ваш адрес электронной почты.

Вы ничего не можете сделать, кроме как удалять эти электронные письма по мере их поступления.

В моем случае это может быть 100-200 в день, просьбы о ссылках, гостевые посты или размещение спонсируемых постов.

Для меня эта сумма определенно является тем, что я считаю не более чем чистым спамом.

Что можно сделать со скребками?

Python и другие формы парсинга веб-страниц становятся все более и более распространенными.

Нелегко понять, что с этим делать.

Недавно Linkedin попытался остановить парсеры, но суд США постановил, что парсинг является законным.

Относительно легко найти скейперов, которые обращаются к вашему сайту. Вы можете искать в журналах доступа к серверу пользовательские агенты, такие как python-requests или python/3.

Вы также можете настроить временное правило брандмауэра Cloudflare и выполнить вызов javascript. (http.user_agent содержит «python-requests») или (http.user_agent содержит «Python/3»)

Но вы мало что можете сделать, кроме как следить за этим. Единственный раз, когда вам действительно нужно бросить вызов или заблокировать парсер, это когда он слишком часто посещает ваш сайт.

У меня был один, который заходил на мой сайт более 14 000 раз в день с более чем 50 разных IP-адресов.

Существуют законные причины для парсинга, такие как SEO-исследование или сбор данных. Но есть также скейперы контента, которые копируют, воруют и переиздают ваш контент.

Но не так просто отличить.

Сканеры уязвимостей

Это еще одна форма бот-трафика, которая иногда хороша, но в основном плоха.

Компании, занимающиеся веб-безопасностью, естественно и полезно сканируют программное обеспечение, плагины и темы уязвимостей, которые можно исправить и исправить.

Но есть и хакеры, которые ищут те же уязвимости для доступа к веб-сайтам и контроля над ними.

Опять же, не так просто отличить хороших парней от плохих.

В большинстве случаев лучший подход — позволить Cloudflare и Wordfence решить проблему. Но бывают случаи, когда я должен добавить ручной блок, чтобы быть уверенным.

Хорошие боты и плохие боты

Поисковые системы, такие как Google и Bing, используют ботов для проверки вашего сайта. Без них у вашего сайта никогда не было бы шансов быть проиндексированными, а ваши страницы ранжировались бы в поиске.

Вы хотите, чтобы ваш сайт и сообщения в блоге занимали высокие позиции в Google и Bing, так что да, это действительно хорошие боты.

Другие хорошие боты помогут вам проанализировать ваш трафик. Среди них могут быть Ahrefs, Semrush и Ubersuggest.

Но да, есть и плохие боты, такие как хакеры и спамеры, которые не думают о ваших интересах.

Научиться различать не всегда легко. Но чрезмерная блокировка ботов часто приносит вам больше вреда, чем пользы.

Опять же, все, что вы можете сделать, это отслеживать, проверять, а затем выбирать, какие из них вы блокируете или оспариваете.

Я использую пару бесплатных онлайн-инструментов, чтобы проверить.

Одним из них является AbuseIPDB. Вы можете проверить любой IP-адрес, чтобы узнать, был ли он отмечен как оскорбительный.

Другой - Скамалитикс. С помощью этого приложения вы можете проверить оценку мошенничества с IP-адресом.

Вывод

Вы никак не можете остановить спам и нежелательный трафик ботов на своем веб-сайте или в блоге.

Все, что вы можете сделать, это следить за ним, а затем пытаться управлять им как можно лучше.

Но не удивляйтесь, если обнаружите, что около 65% трафика вашего сайта приходится на автоматических ботов.

Последний отчет Imperva подтверждает, что активность плохих ботов растет с каждым годом.

Все, что владельцы сайтов могут и должны делать, — это научиться максимально эффективно справляться с угрозами.

Связанное чтение: Cloudflare Cache Everything улучшает WordPress TTFB на 90%