Le trafic de spam et de mauvais robots arrive toujours sur votre site Web

Chaque jour, il semble que je passe de plus en plus de temps à surveiller et à bloquer le spam et le trafic de bots malveillants.

Peu importe que votre blog ou votre site Web soit grand ou petit ; les robots le frappent tout le temps.

Lorsque je vérifie quelques-uns de mes sites plus petits qui reçoivent très peu de visiteurs par jour, il y a toujours un flux constant de trafic de robots automatisés.

Mais pour vous donner une idée de la quantité de trafic Web automatisé, malveillant ou spam, j'ai effectué un audit complet de Just Publishing Advice. Voici les résultats.

Surveillance du spam et du trafic des bots malveillants

Vous vérifiez probablement vos chiffres de trafic avec Google Analytics (GA).

C'est l'un des meilleurs outils gratuits pour avoir une idée de la performance de votre blog ou de votre site Web.

Il n'y a rien de mieux que de voir une augmentation constante du nombre d'utilisateurs et de pages vues.

Mais ce qu'il ne vous dit pas, c'est combien de visites automatisées, suspectes ou malveillantes votre site reçoit.

Si vous souhaitez découvrir le trafic que GA ignore ou manque, vous devez creuser plus profondément avec d'autres sources de données.

J'utilise une poignée d'outils pour surveiller et protéger mon site contre les mauvais acteurs. Heureusement, la plupart d'entre eux sont gratuits.

Le seul service payant que j'utilise est Statcounter, qui ne me coûte que 9,00 $ par mois.

Il collecte des données similaires à GA, mais le gros avantage est qu'il signale les adresses IP et l'activité des liens sortants.

Grâce à cela, je peux surveiller et gérer les grattoirs, les accès de robots automatisés et vérifier les clics sur les annonces Adsense non valides.

Passons maintenant aux données pour vous montrer ce que j'ai découvert.

Activité de spam et de trafic de bots malveillants en détail

En moyenne, mon site reçoit environ 3 500 visites d'utilisateurs réels par jour.

J'aimerais toujours en avoir plus, mais ce n'est pas trop mal.

Mais ce n'est pas l'image complète.

Lorsque je vérifie et collecte des données d'accès provenant d'autres sources, le nombre réel de visites sur mon site est d'environ 11 500 par jour.

Comme vous pouvez le constater, il se passe beaucoup plus de choses sur mon site que ce que rapportent la plupart des outils d'analyse.

Une meilleure façon de regarder ces données est en pourcentages.

Voici une répartition en pourcentage du trafic quotidien moyen de mon site.

De toutes les visites quotidiennes sur mon site, seulement 32 % correspondent à un véritable trafic de visiteurs.

Cependant, ce nombre semble être dans la moyenne.

Help Net Security a signalé en 2021 que le trafic automatisé représentait 64 % du trafic Internet.

Chaque site est touché par le trafic de robots, c'est donc une réalité.

Mais cela vaut toujours la peine de vérifier le trafic de votre site de temps en temps.

Comment accéder aux données de trafic de spam et de bad bot pour votre site

Comme je l'ai déjà mentionné, j'utilise principalement des outils gratuits.

Ceux-ci forment mes lignes de défense contre le spam et le trafic de bots malveillants.

1. Nuageux

Vous pourriez penser que Cloudflare n'est qu'un CDN pour accélérer le chargement de votre site.

Mais ce n'est qu'un avantage secondaire d'un compte gratuit. Le véritable avantage d'utiliser Cloudflare est la sécurité.

Son pare-feu applicatif Web (WAF) est ma première ligne de défense.

J'ai masqué les adresses IP pour des raisons de confidentialité. Mais vous pouvez voir que le nombre total de blocs et de défis émis pour cette journée est de 1 728.

Avec le WAF, vous pouvez définir vos propres règles de pare-feu ou utiliser les outils pour bloquer ou contester les adresses IP ou les ASN.

C'est de loin le meilleur outil pour gérer le trafic indésirable sur votre site.

2. Clôture des mots

Ma deuxième ligne de défense est le plugin Wordfence sur mon site.

Il bloque tout trafic malveillant qui pourrait passer par Cloudflare.

Le nombre de blocs varie d'un jour à l'autre. Mais en moyenne, il bloque entre 250 et 450 tentatives chaque jour.

3. Protection du serveur

La dernière ligne de défense est mon serveur ISP Apache.

À partir des journaux d'accès et d'erreurs, je peux rechercher toute activité indésirable bloquée par le serveur. Je peux également vérifier si une activité autorisée semble suspecte.

Ensuite, je peux utiliser Cloudflare ou Wordfence pour surveiller toute activité suspecte que je trouve.

Attraper les spammeurs

Les spammeurs sont plus une nuisance qu'une menace.

Mais il existe des moyens relativement simples de les gérer.

Plugin de spam de commentaires WordPress

Akismet est un plugin gratuit qui fonctionne assez bien pour lutter contre le spam de commentaires sur votre blog.

Le taux de précision est d'environ 99,5%, donc ça marche très bien.

Il y a environ 4 000 commentaires légitimes sur mon site. Mais Akismet a bloqué plus de 75 000 commentaires indésirables !

Si vous recevez beaucoup de spam, le seul inconvénient est que vous devez continuer à supprimer les commentaires de spam capturés par Akismet.

Règle de pare-feu Cloudflare pour arrêter le spam de commentaires

Plus vous obtenez de trafic sur votre site, plus vous obtiendrez de commentaires indésirables.

Dans ce cas, vous pouvez adopter une approche marteau du problème avec une simple règle de pare-feu Cloudflare qui bloquera les spammeurs de commentaires de votre site.

L'avantage de cette règle est qu'elle est très efficace contre le spam de commentaires. Le seul léger inconvénient est qu'il ajoute un peu de friction pour les vrais commentateurs.

Ils recevront un avis Cloudflare rapide de 2 à 5 secondes indiquant : Vérification de votre navigateur , avant de pouvoir publier un commentaire.

La plupart des gens connaissent cela, donc ce n'est pas un gros problème.

Mais parce que les spammeurs n'utilisent pas un navigateur normal pour injecter des commentaires, ils seront bloqués.

Pour utiliser cette méthode, ajoutez la règle suivante à votre pare-feu Cloudflare.

Nom de la règle : vous pouvez choisir n'importe quel nom pour identifier votre règle.

Champ : chemin URI

Opérateur : Contient

Valeur : /wp-comments.php

Action : Défi JS

Après avoir activé la règle, vous pouvez vérifier son bon fonctionnement.

Si vous survolez le pourcentage, vous verrez combien de défis ont été résolus.

Le nombre résolu est généralement pour les commentaires authentiques qui ont réussi le défi JS. Vous pouvez vérifier cela dans les journaux de votre site.

Voici le journal d'un commentaire authentique qui est passé et est entré avec succès dans ma file d'attente de modération.

Le rectangle rouge met en évidence la vérification réussie de Cloudflare.

Ce n'est pas une règle pour la plupart des sites. Mais si votre site est touché par de nombreux spams de commentaires, il est très efficace.

Comme vous pouvez le voir, j'ai dû supprimer plus de 75 000 commentaires indésirables au fil du temps.

Mais avec cette règle, presque personne ne passe maintenant.

La seule chose à noter est qu'avec cette règle, vous verrez probablement 4 hits bloqués par Cloudflare pour chaque tentative de commentaire de spam échouée.

Ceci est normal car Cloudflare bloque les actions du script utilisé par le spammeur.

Cependant, pour un commentaire authentique, vous verrez une entrée dans votre pare-feu car l'utilisateur a réussi le défi JS.

Alors ne paniquez pas si vous voyez la règle bloquer 300 à 400 tentatives par jour.

Vous pourriez toujours recevoir le commentaire de spam occasionnel si un spammeur publie manuellement. Mais Akismet l'attrapera généralement.

Si vous en avez assez des spammeurs de commentaires, cette règle de pare-feu fera le travail pour vous.

Spams SEO

Les campagnes de sensibilisation par liens ne sont plus que du spam.

Il était considéré comme une pratique légitime de demander des backlinks dans les années passées.

Mais maintenant, des outils de référencement comme Semrush facilitent l'automatisation de ces campagnes directement sur votre adresse e-mail.

Vous ne pouvez rien faire d'autre que supprimer ces e-mails au fur et à mesure qu'ils arrivent.

Dans mon cas, cela peut être de 100 à 200 par jour, en demandant des liens, des publications d'invités ou un placement de publication sponsorisé.

Pour moi, ce montant est définitivement ce que je considère comme rien de plus que du pur spam.

Que pouvez-vous faire des grattoirs ?

Python et d'autres formes de scraping Web deviennent de plus en plus courants.

Il n'est pas facile de savoir quoi faire à ce sujet.

Récemment, Linkedin a tenté d'arrêter les scrapers Web, mais un tribunal américain a jugé que le scraping était légal.

Il est relativement facile de trouver des scapers qui accèdent à votre site. Vous pouvez rechercher dans vos journaux d'accès au serveur des agents utilisateurs tels que python-requests ou python/3.

Vous pouvez également configurer une règle de pare-feu Cloudflare temporaire et émettre un défi javascript. (http.user_agent contient "python-requests") ou (http.user_agent contient "Python/3")

Mais vous ne pouvez pas faire grand-chose d'autre que le surveiller. Le seul moment où vous avez vraiment besoin de défier ou de bloquer un grattoir, c'est quand il arrive trop souvent sur votre site.

J'en avais un qui frappait mon site plus de 14 000 fois par jour à partir de plus de 50 adresses IP différentes.

Il existe des raisons légitimes de scraper, telles que la recherche SEO ou la collecte de données. Mais il existe également des récupérateurs de contenu qui copient, volent et republient votre contenu.

Mais ce n'est pas si facile de faire la différence.

Analyseurs de vulnérabilité

Il s'agit d'une autre forme de trafic de robots qui est parfois bonne mais surtout mauvaise.

Les sociétés de sécurité Web recherchent naturellement et utilement les vulnérabilités des logiciels, des plugins et des thèmes qui peuvent être corrigées et corrigées.

Mais il y a aussi des pirates qui recherchent les mêmes vulnérabilités pour accéder aux sites Web et les contrôler.

Encore une fois, il n'est pas facile de distinguer les bons des méchants.

La meilleure approche consiste à laisser Cloudflare et Wordfence gérer le problème dans la plupart des cas. Mais il y a des moments où je dois ajouter un bloc manuel juste pour être sûr.

Bons bots et mauvais bots

Les moteurs de recherche comme Google et Bing utilisent des bots pour vérifier votre site. Sans cela, votre site n'aurait aucune chance d'être indexé et vos pages de classement pour la recherche.

Vous voulez que votre site et vos articles de blog soient classés sur Google et Bing, alors oui, ce sont de très bons robots.

D'autres bons bots vous aident à analyser votre trafic. Ceux-ci pourraient inclure Ahrefs, Semrush et Ubersuggest, entre autres.

Mais oui, il y a aussi de mauvais bots comme les pirates et les spammeurs qui n'ont pas votre meilleur intérêt à l'esprit.

Apprendre à faire la différence n'est pas toujours facile. Mais bloquer excessivement les bots vous fera souvent plus de mal que de bien.

Encore une fois, tout ce que vous pouvez faire est de surveiller, de vérifier, puis de sélectionner ceux que vous bloquez ou défiez.

J'utilise quelques outils en ligne gratuits pour m'aider à vérifier.

L'un est AbusIPDB. Vous pouvez vérifier n'importe quelle adresse IP pour voir si elle a été signalée comme abusive.

Un autre est Scamalytics. Avec cette application, vous pouvez vérifier le score de fraude d'une adresse IP.

Conclusion

Il n'y a aucun moyen d'arrêter le spam et le trafic de bots malveillants sur votre site Web ou votre blog.

Tout ce que vous pouvez faire est de le surveiller et ensuite essayer de le gérer du mieux que vous pouvez.

Mais ne soyez pas surpris si vous découvrez qu'environ 65 % du trafic de votre site sont des robots automatisés.

Le dernier rapport d'Imperva confirme que l'activité des mauvais bots augmente chaque année.

Tout ce que les propriétaires de sites peuvent faire, et doivent faire, est d'apprendre à gérer les menaces aussi efficacement que possible.

Lecture connexe : Cloudflare Cache Everything améliore WordPress TTFB de 90 %