Il traffico di spam e bot dannosi colpisce sempre il tuo sito web

Ogni giorno mi sembra di passare sempre più tempo a monitorare e bloccare lo spam e il traffico di bot dannosi.

Non importa se il tuo blog o sito web è grande o piccolo; i robot lo colpiscono continuamente.

Quando controllo un paio dei miei siti più piccoli che ricevono pochissimi visitatori al giorno, c'è sempre un flusso costante di traffico di bot automatizzati.

Ma per darti un'idea di quanto traffico web è automatizzato, dannoso o spam, ho completato un audit completo di Just Publishing Advice. Ecco i risultati.

Monitoraggio dello spam e del traffico bot dannoso

Probabilmente controlli i tuoi numeri di traffico con Google Analytics (GA).

È uno dei migliori strumenti gratuiti per avere un'idea delle prestazioni del tuo blog o sito web.

Non c'è niente di meglio che vedere un costante aumento del numero di utenti e delle visualizzazioni di pagina.

Ma ciò che non ti dice è quante visite automatiche, sospette o dannose riceve il tuo sito.

Se vuoi scoprire il traffico che GA ignora o perde, devi scavare più a fondo con altre fonti di dati.

Uso una manciata di strumenti per monitorare e proteggere il mio sito dai malintenzionati. Fortunatamente, la maggior parte di loro sono gratuiti.

L'unico servizio a pagamento che utilizzo è Statcounter, che mi costa solo $ 9,00 al mese.

Raccoglie dati simili a GA, ma il grande vantaggio è che riporta gli indirizzi IP e l'attività dei collegamenti in uscita.

Per questo motivo, posso monitorare e gestire scraper, accessi automatici di bot e verificare la presenza di clic sugli annunci Adsense non validi.

Ora passiamo ai dati per mostrarti cosa ho scoperto.

Spam e attività di traffico di bot dannosi in dettaglio

In media, il mio sito riceve circa 3.500 visite di utenti reali al giorno.

Vorrei sempre averne di più, ma non è poi così male.

Ma questo non è il quadro completo.

Quando controllo e raccolgo i dati di accesso da altre fonti, il numero reale di accessi al mio sito è di circa 11.500 al giorno.

Come puoi vedere, sul mio sito accade molto di più rispetto alla maggior parte dei report degli strumenti di analisi.

Un modo migliore per esaminare questi dati è in percentuale.

Ecco una suddivisione in percentuale del traffico medio giornaliero del mio sito.

Di tutte le visite al mio sito ogni giorno, solo il 32% è traffico di visitatori reali.

Tuttavia, questo numero sembra essere nella media.

Help Net Security ha riferito nel 2021 che il traffico automatizzato costituisce il 64% del traffico Internet.

Ogni sito è colpito dal traffico dei bot, quindi è un dato di fatto.

Ma vale comunque la pena controllare il traffico del tuo sito di tanto in tanto.

Come accedere ai dati sul traffico di spam e bot dannosi per il tuo sito

Come ho detto prima, utilizzo principalmente strumenti gratuiti.

Questi costituiscono le mie linee di difesa contro lo spam e il traffico di bot nocivi.

1. Nubeflare

Potresti pensare che Cloudflare sia solo un CDN per velocizzare il caricamento del tuo sito.

Ma questo è solo un vantaggio collaterale di un account gratuito. Il vero vantaggio dell'utilizzo di Cloudflare è la sicurezza.

Il suo web application firewall (WAF) è la mia prima linea di difesa.

Ho mascherato gli indirizzi IP per motivi di privacy. Ma puoi vedere che il numero totale di blocchi e sfide emessi per questo giorno è 1.728.

Con il WAF, puoi impostare le tue regole firewall o utilizzare gli strumenti per bloccare o sfidare indirizzi IP o ASN.

È di gran lunga lo strumento migliore per gestire il traffico indesiderato sul tuo sito.

2. Wordfence

La mia seconda linea di difesa è il plugin Wordfence sul mio sito.

Blocca qualsiasi traffico dannoso che potrebbe superare Cloudflare.

Il numero di blocchi varia di giorno in giorno. Ma in media blocca tra i 250 e i 450 tentativi al giorno.

3. Protezione del server

L'ultima linea di difesa è il mio server Apache ISP.

Dai registri degli accessi e degli errori, posso cercare qualsiasi attività spiacevole che il server ha bloccato. Posso anche controllare se qualche attività consentita sembra sospetta.

Quindi posso utilizzare Cloudflare o Wordfence per occuparmi di qualsiasi attività sospetta che trovo.

Catturare gli spammer

Gli spammer sono più un fastidio che una minaccia.

Ma ci sono modi relativamente semplici per gestirli.

Plug-in per lo spam nei commenti di WordPress

Akismet è un plugin gratuito che funziona abbastanza bene per combattere lo spam nei commenti sul tuo blog.

Il tasso di precisione è di circa il 99,5%, quindi funziona molto bene.

Ci sono circa 4.000 commenti legittimi sul mio sito. Ma Akismet ha bloccato oltre 75.000 commenti spam!

Se ricevi molto spam, l'unico inconveniente è che devi continuare a eliminare i commenti spam catturati da Akismet.

Regola del firewall di Cloudflare per bloccare lo spam nei commenti

Più traffico ricevi sul tuo sito, più commenti spam riceverai.

In questo caso, puoi adottare un approccio a martello al problema con una semplice regola del firewall di Cloudflare che bloccherà gli spammer di commenti dal tuo sito.

Il vantaggio di questa regola è che è molto efficace contro lo spam nei commenti. L'unico piccolo svantaggio è che aggiunge un po' di attrito per i veri commentatori.

Riceveranno un rapido avviso di Cloudflare di 2-5 secondi che dice "Controllo del browser in corso" prima di poter pubblicare un commento.

La maggior parte delle persone ha familiarità con questo, quindi non è un grosso problema.

Ma poiché gli spammer non utilizzano un normale browser per inserire commenti, verranno bloccati.

Per utilizzare questo metodo, aggiungi la seguente regola al tuo firewall Cloudflare.

Nome regola: puoi scegliere qualsiasi nome per identificare la tua regola.

Campo: Percorso URI

Operatore: Contiene

Valore: /wp-comments.php

Azione: Sfida JS

Dopo aver attivato la regola, puoi verificarne il funzionamento.

Se passi il mouse sopra la percentuale, vedrai quante sfide sono state risolte.

Il numero risolto è solitamente per i commenti genuini che hanno superato la sfida JS. Puoi verificarlo nei log del tuo sito.

Ecco il registro di un commento genuino che è passato ed è entrato con successo nella mia coda di moderazione.

Il rettangolo rosso evidenzia il successo del controllo Cloudflare.

Non è una regola per la maggior parte dei siti. Ma se il tuo sito viene colpito da molti commenti spam, è molto efficace.

Come puoi vedere, nel tempo ho dovuto eliminare oltre 75.000 commenti spam.

Ma con questa regola, quasi nessuno riesce a passare ora.

L'unica cosa da notare è che con questa regola, probabilmente vedrai 4 hit bloccati da Cloudflare per ogni tentativo di commento spam fallito.

Questo è normale perché Cloudflare sta bloccando le azioni dello script utilizzato dallo spammer.

Tuttavia, per un commento genuino, vedrai una voce nel tuo firewall perché l'utente ha superato la sfida JS.

Quindi niente panico se vedi la regola che blocca 300-400 tentativi al giorno.

Potresti comunque ricevere occasionali commenti spam se uno spammer pubblica manualmente. Ma Akismet di solito lo prende.

Se ne hai abbastanza di spammer di commenti, questa regola del firewall farà il lavoro per te.

Email di spam SEO

Le campagne di sensibilizzazione dei link ora non sono altro che spam.

Negli anni passati era considerata una pratica legittima chiedere backlink.

Ma ora, strumenti SEO come Semrush rendono così facile automatizzare queste campagne direttamente al tuo indirizzo email.

Non c'è niente che puoi fare se non eliminare queste e-mail non appena arrivano.

Nel mio caso, possono essere 100-200 al giorno, chiedendo link, guest post o posizionamento di post sponsorizzati.

Per me, tale importo è sicuramente ciò che considero nient'altro che puro spam.

Cosa puoi fare con i raschiatori?

Python e altre forme di web scraping stanno diventando sempre più comuni.

Non è facile sapere cosa fare al riguardo.

Di recente, Linkedin ha cercato di fermare i web scraper, ma un tribunale statunitense ha stabilito che lo scraping era legale.

È relativamente facile trovare scaper che accedono al tuo sito. Puoi cercare nei log di accesso al tuo server user agent come python-requests o python/3.

Puoi anche configurare una regola firewall temporanea di Cloudflare ed emettere una verifica JavaScript. (http.user_agent contiene "python-requests") o (http.user_agent contiene "Python/3")

Ma c'è poco che puoi fare se non monitorarlo. L'unica volta in cui hai davvero bisogno di sfidare o bloccare uno scraper è quando colpisce il tuo sito troppo spesso.

Ne avevo uno che colpiva il mio sito più di 14.000 volte al giorno da oltre 50 diversi indirizzi IP.

Esistono motivi legittimi per lo scraping, come la ricerca SEO o la raccolta di dati. Ma ci sono anche content scaper che copiano, rubano e ripubblicano i tuoi contenuti.

Ma non è così facile capire la differenza.

Scanner di vulnerabilità

Questa è un'altra forma di traffico bot che a volte è buona ma soprattutto cattiva.

Le società di sicurezza Web scansionano in modo naturale e utile le vulnerabilità di software, plug-in e temi che possono essere riparate e risolte.

Ma poi ci sono hacker che cercano le stesse vulnerabilità per accedere e controllare i siti web.

Ancora una volta, non è facile distinguere i buoni dai cattivi.

L'approccio migliore è lasciare che Cloudflare e Wordfence gestiscano il problema nella maggior parte dei casi. Ma ci sono volte in cui devo aggiungere un blocco manuale solo per essere sicuro.

Bot buoni e bot cattivi

I motori di ricerca come Google e Bing utilizzano i bot per controllare il tuo sito. Senza questi, il tuo sito non avrebbe mai la possibilità di essere indicizzato e le tue pagine classificate per la ricerca.

Vuoi che il tuo sito e i post del tuo blog si posizionino su Google e Bing, quindi sì, questi sono davvero ottimi robot.

Altri buoni robot ti aiutano ad analizzare il tuo traffico. Questi potrebbero includere Ahrefs, Semrush e Ubersuggest, tra gli altri.

Ma sì, ci sono anche bot cattivi come hacker e spammer che non hanno in mente i tuoi migliori interessi.

Imparare a distinguere non è sempre facile. Ma bloccare eccessivamente i robot spesso ti farà più male che bene.

Ancora una volta, tutto ciò che puoi fare è monitorare, controllare e quindi essere selettivo su quali bloccare o sfidare.

Uso un paio di strumenti online gratuiti per aiutarmi a controllare.

Uno è AbuseIPDB. Puoi controllare qualsiasi indirizzo IP per vedere se è stato segnalato come offensivo.

Un altro è Scamalytics. Con questa app, puoi controllare il punteggio di frode di un indirizzo IP.

Conclusione

Non c'è modo di fermare lo spam e il traffico bot dannoso sul tuo sito web o blog.

Tutto quello che puoi fare è monitorarlo e poi cercare di gestirlo nel miglior modo possibile.

Ma non sorprenderti se scopri che circa il 65% del traffico del tuo sito è costituito da robot automatizzati.

L'ultimo rapporto di Imperva conferma che l'attività dei bot dannosi aumenta ogni anno.

Tutto ciò che i proprietari dei siti possono fare, e dovrebbero fare, è imparare a gestire le minacce nel modo più efficace possibile.

Lettura correlata: Cloudflare Cache Everything migliora il TTFB di WordPress del 90%