Spam i zły ruch botów zawsze uderzają w Twoją witrynę

Każdego dnia wydaje mi się, że spędzam coraz więcej czasu na monitorowaniu i blokowaniu spamu i złego ruchu botów.

Nie ma znaczenia, czy Twój blog lub strona internetowa jest duża czy mała; boty atakują go cały czas.

Kiedy sprawdzam kilka moich mniejszych witryn, które odwiedzają bardzo niewielu użytkowników dziennie, zawsze pojawia się stały strumień zautomatyzowanego ruchu botów.

Ale aby dać ci wyobrażenie o tym, ile ruchu internetowego jest zautomatyzowanego, złośliwego lub spamu, przeprowadziłem pełny audyt Just Publishing Advice. Oto wyniki.

Monitorowanie spamu i złego ruchu botów

Prawdopodobnie sprawdzasz statystyki ruchu w Google Analytics (GA).

To jedno z najlepszych darmowych narzędzi, które pozwala zorientować się, jak dobrze radzi sobie Twój blog lub witryna internetowa.

Nie ma nic lepszego niż obserwowanie stałego wzrostu liczby użytkowników i odsłon.

Ale to, czego nie mówi, to liczba automatycznych, podejrzanych lub złośliwych wizyt w Twojej witrynie.

Jeśli chcesz odkryć ruch, który GA ignoruje lub pomija, musisz sięgnąć głębiej do innych źródeł danych.

Używam kilku narzędzi do monitorowania i ochrony mojej witryny przed złymi aktorami. Na szczęście większość z nich jest bezpłatna.

Jedyną płatną usługą, z której korzystam, jest Statcounter, która kosztuje mnie tylko 9,00 USD miesięcznie.

Zbiera podobne dane do GA, ale dużą zaletą jest to, że raportuje adresy IP i aktywność łączy wychodzących.

Dzięki temu mogę monitorować skrobaki, automatyczne trafienia botów i zarządzać nimi oraz sprawdzać nieprawidłowe kliknięcia reklam Adsense.

A teraz przejdźmy do danych, aby pokazać wam, co odkryłem.

Spam i zły ruch botów w szczegółach

Średnio moja witryna jest odwiedzana przez około 3500 rzeczywistych użytkowników dziennie.

Zawsze chciałbym mieć więcej, ale nie jest tak źle.

Ale to nie jest pełny obraz.

Kiedy sprawdzam i zbieram dane dostępowe z innych źródeł, rzeczywista liczba wejść na moją stronę wynosi około 11 500 dziennie.

Jak widać, na mojej stronie dzieje się znacznie więcej niż raportuje większość narzędzi analitycznych.

Lepszym sposobem spojrzenia na te dane są wartości procentowe.

Oto procentowy podział mojego średniego dziennego ruchu w witrynie.

Spośród wszystkich wizyt na mojej stronie każdego dnia, tylko 32% to prawdziwy ruch odwiedzających.

Wydaje się jednak, że liczba ta jest mniej więcej średnia.

Help Net Security poinformował w 2021 r., że zautomatyzowany ruch stanowi 64% ruchu internetowego.

Każda witryna jest atakowana przez ruch botów, więc jest to fakt.

Mimo to od czasu do czasu warto sprawdzać ruch w witrynie.

Jak uzyskać dostęp do danych dotyczących spamu i nieprawidłowego ruchu botów w Twojej witrynie

Jak wspomniałem wcześniej, korzystam głównie z darmowych narzędzi.

Stanowią one moje linie obrony przed spamem i złym ruchem botów.

1. Rozbłysk chmur

Możesz pomyśleć, że Cloudflare to tylko CDN, dzięki któremu Twoja strona ładuje się szybciej.

Ale to tylko uboczna korzyść darmowego konta. Prawdziwą zaletą korzystania z Cloudflare jest bezpieczeństwo.

Jego zapora sieciowa (WAF) jest moją pierwszą linią obrony.

Zamaskowałem adresy IP ze względu na prywatność. Ale możesz zobaczyć, że łączna liczba blokad i wyzwań wydanych na ten jeden dzień to 1728.

Dzięki WAF możesz ustawić własne reguły zapory lub użyć narzędzi do blokowania lub kwestionowania adresów IP lub ASN.

To zdecydowanie najlepsze narzędzie do zarządzania niepożądanym ruchem w Twojej witrynie.

2. Wordfence

Moją drugą linią obrony jest wtyczka Wordfence na mojej stronie.

Blokuje wszelki złośliwy ruch, który może przedostać się przez Cloudflare.

Liczba bloków zmienia się z dnia na dzień. Ale średnio blokuje od 250 do 450 prób każdego dnia.

3. Ochrona serwera

Ostatnią linią obrony jest mój serwer ISP Apache.

Korzystając z dzienników dostępu i dzienników błędów, mogę wyszukać wszelkie niepożądane działania, które serwer zablokował. Mogę też sprawdzić, czy jakakolwiek dozwolona czynność wygląda podejrzanie.

Następnie mogę użyć Cloudflare lub Wordfence, aby zająć się każdą podejrzaną aktywnością, którą wykryję.

Łapanie spamerów

Spamerzy są bardziej uciążliwi niż zagrożenie.

Istnieją jednak stosunkowo łatwe sposoby na zarządzanie nimi.

Wtyczka spamu w komentarzach WordPress

Akismet to darmowa wtyczka, która działa całkiem dobrze w walce ze spamem w komentarzach na Twoim blogu.

Wskaźnik dokładności wynosi około 99,5%, więc działa bardzo dobrze.

Na mojej stronie znajduje się około 4000 uzasadnionych komentarzy. Ale Akismet zablokował ponad 75 000 spamerskich komentarzy!

Jeśli otrzymujesz dużo spamu, jedyną wadą jest to, że musisz ciągle usuwać spamowe komentarze przechwycone przez Akismet.

Reguła zapory sieciowej Cloudflare, aby zatrzymać spam w komentarzach

Im więcej ruchu uzyskasz na swojej stronie, tym więcej spamowych komentarzy otrzymasz.

W takim przypadku możesz podejść do problemu młotem kowalskim za pomocą prostej reguły zapory sieciowej Cloudflare, która zablokuje spamerom komentarze w Twojej witrynie.

Zaletą tej reguły jest to, że jest bardzo skuteczna w walce ze spamem w komentarzach. Jedynym niewielkim minusem jest to, że dodaje trochę tarcia prawdziwym komentatorom.

Otrzymają szybkie 2-5-sekundowe powiadomienie Cloudflare o treści Sprawdzanie przeglądarki , zanim będą mogli opublikować komentarz.

Większość ludzi o tym wie, więc nie jest to duży problem.

Ale ponieważ spamerzy nie używają normalnej przeglądarki do wstawiania komentarzy, będą blokowani.

Aby skorzystać z tej metody, dodaj następującą regułę do zapory sieciowej Cloudflare.

Nazwa reguły: Możesz wybrać dowolną nazwę identyfikującą regułę.

Pole: Ścieżka URI

Operator: Zawiera

Wartość: /wp-comments.php

Akcja: JS Challenge

Po aktywowaniu reguły możesz sprawdzić, jak dobrze działa.

Jeśli najedziesz kursorem na wartość procentową, zobaczysz, ile wyzwań zostało rozwiązanych.

Rozwiązana liczba dotyczy zwykle autentycznych komentarzy, które przeszły wyzwanie JS. Możesz to sprawdzić w dziennikach swojej witryny.

Oto dziennik prawdziwego komentarza, który przeszedł pomyślnie i trafił do mojej kolejki moderacji.

Czerwony prostokąt podkreśla udany test Cloudflare.

Nie jest to regułą dla większości witryn. Ale jeśli Twoja witryna jest atakowana dużą ilością spamu z komentarzami, jest to bardzo skuteczne.

Jak widać, z biegiem czasu musiałem usunąć ponad 75 000 spamerskich komentarzy.

Ale z tą zasadą prawie żaden się teraz nie przedostanie.

Należy zauważyć, że przy tej regule prawdopodobnie zobaczysz 4 trafienia zablokowane przez Cloudflare za każdą nieudaną próbę komentarza spamowego.

Jest to normalne, ponieważ Cloudflare blokuje działania skryptu używanego przez spamera.

Jednak w przypadku prawdziwego komentarza zobaczysz jeden wpis w zaporze ogniowej, ponieważ użytkownik przeszedł wyzwanie JS.

Więc nie panikuj, jeśli zobaczysz, że reguła blokuje 300-400 prób dziennie.

Nadal możesz otrzymywać sporadyczne komentarze spamowe, jeśli spamer opublikuje ręcznie. Ale Akismet zwykle to łapie.

Jeśli masz już dość spamerów z komentarzami, ta reguła zapory sieciowej zrobi to za Ciebie.

E-maile ze spamem SEO

Kampanie informacyjne z linkami są teraz niczym więcej niż spamem.

W minionych latach uznano za uzasadnioną praktykę proszenie o linki zwrotne.

Ale teraz narzędzia SEO, takie jak Semrush, ułatwiają automatyzację tych kampanii bezpośrednio na Twój adres e-mail.

Nic nie możesz zrobić poza usuwaniem tych e-maili po ich otrzymaniu.

W moim przypadku może to być 100-200 dziennie, prosząc o linki, posty gościnne lub umieszczanie postów sponsorowanych.

Dla mnie ta kwota jest zdecydowanie tym, co uważam za nic więcej niż czysty spam.

Co możesz zrobić ze skrobakami?

Python i inne formy web scrapingu stają się coraz bardziej powszechne.

Nie jest łatwo wiedzieć, co z tym zrobić.

Niedawno Linkedin próbował powstrzymać web scrapery, ale amerykański sąd orzekł, że scraping jest legalny.

Stosunkowo łatwo jest znaleźć scaperów, którzy uzyskują dostęp do Twojej witryny. Możesz przeszukiwać dzienniki dostępu do serwera w poszukiwaniu agentów użytkownika, takich jak python-requests lub python/3.

Możesz także skonfigurować tymczasową regułę zapory sieciowej Cloudflare i wysłać wyzwanie javascript. (http.user_agent zawiera „python-requests”) lub (http.user_agent zawiera „Python/3”)

Ale niewiele możesz zrobić poza monitorowaniem. Jedynym momentem, w którym naprawdę musisz rzucić wyzwanie skrobakowi lub go zablokować, jest sytuacja, gdy zbyt często uderza on w Twoją witrynę.

Miałem taki, który trafiał na moją stronę ponad 14 000 razy dziennie z ponad 50 różnych adresów IP.

Istnieją uzasadnione powody do skrobania, takie jak badania SEO lub gromadzenie danych. Ale są też narzędzia do scalania treści, które kopiują, kradną i ponownie publikują Twoje treści.

Ale nie jest łatwo odróżnić.

Skanery luk w zabezpieczeniach

To kolejna forma ruchu botów, która czasami jest dobra, ale przeważnie zła.

Firmy zajmujące się bezpieczeństwem internetowym w naturalny i pomocny sposób skanują oprogramowanie, wtyczki i luki w motywach, które można załatać i naprawić.

Ale są też hakerzy, którzy szukają tych samych luk w zabezpieczeniach, aby uzyskać dostęp do stron internetowych i kontrolować je.

Ponownie, nie jest łatwo odróżnić dobrych od złych.

W większości przypadków najlepszym podejściem jest pozwolenie Cloudflare i Wordfence na rozwiązanie problemu. Ale są chwile, kiedy muszę dodać blok ręczny, żeby się upewnić.

Dobre i złe boty

Wyszukiwarki takie jak Google i Bing używają botów do sprawdzania Twojej witryny. Bez nich Twoja witryna nigdy nie miałaby szans na zaindeksowanie, a Twoje strony w rankingach wyszukiwania.

Chcesz, aby Twoja witryna i posty na blogu były oceniane w Google i Bing, więc tak, to naprawdę dobre boty.

Inne dobre boty pomagają analizować ruch. Mogą to być między innymi Ahrefs, Semrush i Ubersuggest.

Ale tak, są też złe boty, takie jak hakerzy i spamerzy, które nie mają na celu twojego najlepszego interesu.

Nauka rozróżniania nie zawsze jest łatwa. Ale nadmierne blokowanie botów często wyrządzi więcej szkody niż pożytku.

Ponownie, wszystko, co możesz zrobić, to monitorować, sprawdzać, a następnie wybierać, które z nich blokujesz lub kwestionujesz.

Korzystam z kilku bezpłatnych narzędzi online, które pomagają mi to sprawdzić.

Jednym z nich jest AbuseIPDB. Możesz sprawdzić dowolny adres IP, aby zobaczyć, czy nie został zgłoszony jako nadużycie.

Innym jest Scamalytics. Dzięki tej aplikacji możesz sprawdzić wynik oszustwa adresu IP.

Wniosek

Nie ma sposobu, aby zatrzymać spam i zły ruch botów na Twojej stronie internetowej lub blogu.

Wszystko, co możesz zrobić, to monitorować go, a następnie starać się nim zarządzać najlepiej, jak potrafisz.

Ale nie zdziw się, jeśli odkryjesz, że około 65% ruchu w Twojej witrynie to automatyczne boty.

Najnowszy raport firmy Imperva potwierdza, że ​​z roku na rok rośnie aktywność złych botów.

Wszystko, co właściciele witryn mogą zrobić i powinni zrobić, to nauczyć się jak najskuteczniej zarządzać zagrożeniami.

Powiązana lektura: Cloudflare Cache Everything poprawia WordPress TTFB o 90%