Spam-ul și traficul prost de bot ating întotdeauna site-ul dvs

În fiecare zi par să petrec din ce în ce mai mult timp monitorizând și blocând spam-ul și traficul prost de bot.

Nu contează dacă blogul sau site-ul tău web este mare sau mic; roboții îl lovesc tot timpul.

Când verific câteva dintre site-urile mele mai mici care primesc foarte puțini vizitatori pe zi, există întotdeauna un flux constant de trafic automatizat de bot.

Dar pentru a vă face o idee despre cât de mult trafic web este automatizat, rău intenționat sau spam, am finalizat un audit complet al Just Publishing Advice. Iată rezultatele.

Monitorizarea spam-ului și a traficului prost de bot

Probabil că vă verificați numerele de trafic cu Google Analytics (GA).

Este unul dintre cele mai bune instrumente gratuite pentru a vă face o idee despre cât de bine funcționează blogul sau site-ul dvs. web.

Nu există nimic mai bun decât să observați o creștere constantă a numărului de utilizatori și a vizualizărilor de pagini.

Dar ceea ce nu vă spune este câte vizite automate, suspecte sau rău intenționate primește site-ul dvs.

Dacă doriți să descoperiți traficul pe care GA îl ignoră sau îl pierde, trebuie să cercetați mai profund cu alte surse de date.

Folosesc o mână de instrumente pentru a-mi monitoriza și proteja site-ul de actorii răi. Din fericire, majoritatea sunt gratuite.

Singurul serviciu plătit pe care îl folosesc este Statcounter, care mă costă doar 9,00 USD pe lună.

Colectează date similare cu GA, dar marele avantaj este că raportează adresele IP și activitatea legăturilor de ieșire.

Din acest motiv, pot monitoriza și gestiona scraper-urile, accesările automate de la bot și pot verifica clicurile nevalide pe anunțuri Adsense.

Acum treceți la date pentru a vă arăta ce am descoperit.

Spam și activitatea proastă a traficului botului în detaliu

În medie, site-ul meu primește în jur de 3.500 de vizite de utilizatori reali pe zi.

Mi-aș dori mereu să am mai mult, dar nu e prea rău.

Dar aceasta nu este imaginea completă.

Când verific și colectez date de acces din alte surse, numărul real de accesări pe site-ul meu este de aproximativ 11.500 pe zi.

După cum puteți vedea, pe site-ul meu se întâmplă mult mai mult decât raportează majoritatea instrumentelor de analiză.

O modalitate mai bună de a privi aceste date este în procente.

Iată o defalcare procentuală a traficului meu zilnic mediu pe site.

Dintre toate vizitele pe site-ul meu în fiecare zi, doar 32% reprezintă trafic real de vizitatori.

Cu toate acestea, acest număr pare să fie aproximativ mediu.

Help Net Security a raportat în 2021 că traficul automatizat reprezintă 64% din traficul de internet.

Fiecare site este lovit de traficul bot, așa că este un fapt de viață.

Dar încă merită să verificați traficul site-ului dvs. din când în când.

Cum să accesați spam-ul și datele de trafic proaste ale botului pentru site-ul dvs

După cum am menționat mai devreme, folosesc în mare parte instrumente gratuite.

Acestea formează liniile mele de apărare împotriva spam-ului și a traficului prost de bot.

1. Cloudflare

Ai putea crede că Cloudflare este doar un CDN pentru a face site-ul tău să se încarce mai rapid.

Dar acesta este doar un beneficiu secundar al unui cont gratuit. Adevăratul avantaj al utilizării Cloudflare este securitatea.

Firewall-ul pentru aplicații web (WAF) este prima mea linie de apărare.

Am mascat adresele IP din cauza confidențialității. Dar puteți vedea că numărul total de blocuri și provocări emise pentru această zi este de 1.728.

Cu WAF, vă puteți seta propriile reguli de firewall sau puteți utiliza instrumentele pentru a bloca sau contesta adresele IP sau ASN-urile.

Este de departe cel mai bun instrument pentru a gestiona traficul nedorit de pe site-ul dvs.

2. Wordfence

A doua mea linie de apărare este pluginul Wordfence de pe site-ul meu.

Acesta blochează orice trafic rău intenționat care ar putea trece dincolo de Cloudflare.

Numărul de blocuri variază de la o zi la alta. Dar, în medie, blochează între 250-450 de încercări în fiecare zi.

3. Protecția serverului

Ultima linie de apărare este serverul meu ISP Apache.

Din jurnalele de acces și erori, pot scana orice activitate nefastă pe care serverul a blocat-o. De asemenea, pot verifica dacă vreo activitate permisă pare suspectă.

Apoi pot folosi Cloudflare sau Wordfence pentru a avea grijă de orice activitate suspectă pe care o găsesc.

Prinderea spammerilor

Spammerii sunt mai mult o pacoste decât o amenințare.

Dar există modalități relativ ușoare de a le gestiona.

Plugin de spam pentru comentarii WordPress

Akismet este un plugin gratuit care funcționează destul de bine pentru a combate spamul de comentarii pe blogul tău.

Rata de precizie este de aproximativ 99,5%, deci funcționează foarte bine.

Există aproximativ 4.000 de comentarii legitime pe site-ul meu. Dar Akismet a blocat peste 75.000 de comentarii spam!

Dacă primiți mult spam, singurul dezavantaj este că trebuie să ștergeți în continuare comentariile spam prinse de Akismet.

Regulă pentru firewall Cloudflare pentru a opri spamul în comentarii

Cu cât vei primi mai mult trafic pe site-ul tău, cu atât vei primi mai multe comentarii spam.

În acest caz, puteți lua o abordare cu baros a problemei cu o regulă simplă de firewall Cloudflare care va bloca spammerii de comentarii de pe site-ul dvs.

Avantajul acestei reguli este că este foarte eficientă împotriva spam-ului de comentarii. Singurul dezavantaj mic este că adaugă un pic de frecare pentru comentatorii autentici.

Ei vor primi o notificare Cloudflare rapidă de 2-5 secunde care spune: „ Vă verificăm browserul ” înainte de a putea posta un comentariu.

Majoritatea oamenilor sunt familiarizați cu asta, așa că nu este o problemă mare.

Dar deoarece spammerii nu folosesc un browser normal pentru a injecta comentarii, acestea vor fi blocate.

Pentru a utiliza această metodă, adăugați următoarea regulă la firewall-ul dvs. Cloudflare.

Numele regulii: puteți alege orice nume pentru a vă identifica regula.

Câmp: Calea URI

Operator: Conține

Valoare: /wp-comments.php

Acțiune: JS Challenge

După ce activați regula, puteți verifica cât de bine funcționează.

Dacă treci cu mouse-ul peste procent, vei vedea câte provocări au fost rezolvate.

Numărul rezolvat este de obicei pentru comentarii autentice care au trecut provocarea JS. Puteți verifica acest lucru în jurnalele site-ului dvs.

Iată jurnalul unui comentariu autentic care a trecut și a intrat cu succes în coada mea de moderare.

Dreptunghiul roșu evidențiază verificarea Cloudflare reușită.

Nu este o regulă pentru majoritatea site-urilor. Dar dacă site-ul tău este lovit de o mulțime de comentarii spam, este foarte eficient.

După cum puteți vedea, am fost nevoit să șterg peste 75.000 de comentarii spam de-a lungul timpului.

Dar cu această regulă, aproape nimeni nu trece acum.

Singurul lucru de reținut este că, cu această regulă, probabil că veți vedea 4 accesări blocate de Cloudflare pentru fiecare încercare eșuată de comentariu spam.

Acest lucru este normal deoarece Cloudflare blochează acțiunile scriptului pe care îl folosește spammerul.

Cu toate acestea, pentru un comentariu autentic, veți vedea o intrare în firewall-ul dvs. deoarece utilizatorul a trecut provocarea JS.

Deci nu intrați în panică dacă vedeți că regula blochează 300-400 de încercări pe zi.

Este posibil să primiți în continuare comentarii de spam ocazional dacă un spammer postează manual. Dar Akismet îl va prinde de obicei.

Dacă v-ați săturat de spammeri de comentarii, această regulă pentru firewall vă va face treaba.

E-mailuri SEO spam

Campaniile de informare prin linkuri nu sunt acum altceva decât spam.

A fost considerată o practică legitimă să ceri backlink-uri în anii trecuti.

Dar acum, instrumentele SEO precum Semrush facilitează automatizarea acestor campanii direct la adresa ta de e-mail.

Nu poți face nimic altceva decât să ștergi aceste e-mailuri pe măsură ce ajung.

În cazul meu, poate fi 100-200 pe zi, cerând linkuri, postări pentru invitați sau plasare de postări sponsorizate.

Pentru mine, această sumă este cu siguranță ceea ce consider ca fiind nimic mai mult decât spam pur.

Ce poți face cu racletele?

Python și alte forme de web scraping devin din ce în ce mai frecvente.

Nu este ușor să știi ce să faci în privința asta.

Recent, Linkedin a încercat să oprească web scrapers, dar o instanță din SUA a decis că scraping-ul este legal.

Este relativ ușor să găsești scaperi care accesează site-ul tău. Puteți căuta în jurnalele de acces la server agenți de utilizator, cum ar fi python-requests sau python/3.

De asemenea, puteți configura o regulă temporară pentru firewall Cloudflare și puteți emite o provocare javascript. (http.user_agent conține „cereri-python”) sau (http.user_agent conține „Python/3”)

Dar nu poți face nimic altceva decât să-l monitorizezi. Singurul moment în care trebuie cu adevărat să provocați sau să blocați un scraper este atunci când acesta lovește site-ul dvs. prea des.

Am avut unul care mi-a accesat site-ul de peste 14.000 de ori pe zi de la peste 50 de adrese IP diferite.

Există motive legitime pentru scraping, cum ar fi cercetarea SEO sau colectarea de date. Dar există și scaperi de conținut care copiază, fură și republică conținutul tău.

Dar nu este atât de ușor să faci diferența.

Scanere de vulnerabilitate

Aceasta este o altă formă de trafic cu bot, care este uneori bună, dar mai ales proastă.

Companiile de securitate web scanează în mod natural și util pentru vulnerabilități de software, plugin și teme care pot fi corectate și remediate.

Dar apoi există hackeri care caută aceleași vulnerabilități pentru a accesa și controla site-urile web.

Din nou, nu este ușor să-i deosebiți pe băieții buni de cei răi.

Cea mai bună abordare este să lăsați Cloudflare și Wordfence să gestioneze problema în majoritatea cazurilor. Dar există momente în care trebuie să adaug un bloc manual doar pentru a fi sigur.

Boți buni și boți răi

Motoarele de căutare precum Google și Bing folosesc roboți pentru a vă verifica site-ul. Fără acestea, site-ul dvs. nu ar avea niciodată șansa de a fi indexat și paginile dvs. ar fi clasate pentru căutare.

Vrei ca site-ul și postările de blog să fie clasate pe Google și Bing, așa că da, aceștia sunt boți foarte buni.

Alți roboți buni vă ajută să vă analizați traficul. Acestea ar putea include Ahrefs, Semrush și Ubersuggest, printre altele.

Dar da, există și roboți răi, cum ar fi hackerii și spammerii, care nu au în vedere interesele tale.

Să înveți cum să faci diferența nu este întotdeauna ușor. Dar blocarea excesivă a roboților îți va face adesea mai mult rău decât bine.

Din nou, tot ce poți face este să monitorizezi, să verifici și apoi să fii selectiv cu privire la cele pe care le blochezi sau le provoci.

Folosesc câteva instrumente online gratuite pentru a mă ajuta să verific.

Unul este AbuseIPDB. Puteți verifica orice adresă IP pentru a vedea dacă a fost raportată ca abuzivă.

Un altul este Scamalytics. Cu această aplicație, puteți verifica scorul de fraudă al unei adrese IP.

Concluzie

Nu există nicio modalitate de a opri spam-ul și traficul prost bot pe site-ul sau blogul dvs.

Tot ce puteți face este să îl monitorizați și apoi să încercați să îl gestionați cât mai bine.

Dar nu fi surprins dacă descoperi că aproximativ 65% din traficul site-ului tău este format din roboți automatizați.

Cel mai recent raport de la Imperva confirmă că activitatea proastă a botului crește în fiecare an.

Tot ce pot face și ar trebui să facă proprietarii de site-uri este să învețe cum să gestioneze amenințările cât mai eficient posibil.

Lectură similară: Cloudflare Cache Totul îmbunătățește WordPress TTFB cu 90%