Spam und bösartiger Bot-Traffic trifft immer Ihre Website

Jeden Tag verbringe ich mehr und mehr Zeit damit, Spam und bösartigen Bot-Traffic zu überwachen und zu blockieren.

Es spielt keine Rolle, ob Ihr Blog oder Ihre Website groß oder klein ist; Bots schlagen es die ganze Zeit.

Wenn ich ein paar meiner kleineren Websites überprüfe, die nur sehr wenige Besucher pro Tag erhalten, gibt es immer einen stetigen Strom automatisierten Bot-Verkehrs.

Aber um Ihnen eine Vorstellung davon zu geben, wie viel Webverkehr automatisiert, bösartig oder Spam ist, habe ich eine vollständige Prüfung von Just Publishing Advice durchgeführt. Hier sind die Ergebnisse.

Überwachung von Spam und bösartigem Bot-Traffic

Wahrscheinlich überprüfen Sie Ihre Verkehrszahlen mit Google Analytics (GA).

Es ist eines der besten kostenlosen Tools, um sich ein Bild davon zu machen, wie gut Ihr Blog oder Ihre Website funktioniert.

Es gibt nichts Schöneres, als eine stetige Zunahme der Benutzerzahlen und Seitenaufrufe zu sehen.

Was es Ihnen jedoch nicht sagt, ist, wie viele automatisierte, verdächtige oder böswillige Besuche Ihre Website erhält.

Wenn Sie den Datenverkehr entdecken möchten, den GA ignoriert oder übersieht, müssen Sie mit anderen Datenquellen tiefer graben.

Ich verwende eine Handvoll Tools, um meine Website zu überwachen und vor schlechten Akteuren zu schützen. Glücklicherweise sind die meisten von ihnen kostenlos.

Der einzige kostenpflichtige Dienst, den ich nutze, ist Statcounter, der mich nur 9,00 $ pro Monat kostet.

Es sammelt ähnliche Daten wie GA, aber der große Vorteil ist, dass es IP-Adressen und ausgehende Linkaktivitäten meldet.

Aus diesem Grund kann ich Scraper und automatisierte Bot-Treffer überwachen und verwalten und nach ungültigen Klicks auf Adsense-Anzeigen suchen.

Nun zu den Daten, um Ihnen zu zeigen, was ich entdeckt habe.

Spam- und Bad-Bot-Traffic-Aktivitäten im Detail

Im Durchschnitt erhält meine Website rund 3.500 Besuche von echten Nutzern pro Tag.

Ich würde immer gerne mehr haben, aber es ist nicht so schlimm.

Aber das ist nicht das vollständige Bild.

Wenn ich Zugriffsdaten aus anderen Quellen prüfe und sammle, liegt die tatsächliche Anzahl der Zugriffe auf meine Seite bei etwa 11.500 pro Tag.

Wie Sie sehen können, passiert auf meiner Website viel mehr, als die meisten Analysetools berichten.

Eine bessere Möglichkeit, diese Daten zu betrachten, sind Prozentsätze.

Hier ist eine prozentuale Aufschlüsselung meines durchschnittlichen täglichen Website-Traffics.

Von allen täglichen Besuchen meiner Website sind nur 32 % echter Besucherverkehr.

Diese Zahl scheint jedoch im Durchschnitt zu liegen.

Help Net Security berichtete im Jahr 2021, dass automatisierter Datenverkehr 64 % des Internetverkehrs ausmacht.

Jede Website wird von Bot-Traffic heimgesucht, also ist das eine Tatsache des Lebens.

Aber es lohnt sich trotzdem, von Zeit zu Zeit den Traffic Ihrer Website zu überprüfen.

So greifen Sie auf Spam- und Bad-Bot-Verkehrsdaten für Ihre Website zu

Wie ich bereits erwähnt habe, verwende ich hauptsächlich kostenlose Tools.

Diese bilden meine Verteidigungslinien gegen Spam und schädlichen Bot-Traffic.

1. Wolkenflare

Sie denken vielleicht, dass Cloudflare nur ein CDN ist, um das Laden Ihrer Website zu beschleunigen.

Aber das ist nur ein Nebeneffekt eines kostenlosen Kontos. Der wahre Vorteil der Verwendung von Cloudflare ist die Sicherheit.

Seine Web Application Firewall (WAF) ist meine erste Verteidigungslinie.

Die IP-Adressen habe ich aus Datenschutzgründen maskiert. Aber Sie können sehen, dass die Gesamtzahl der Blöcke und Herausforderungen, die für diesen einen Tag ausgegeben wurden, 1.728 beträgt.

Mit der WAF können Sie Ihre eigenen Firewall-Regeln festlegen oder die Tools verwenden, um IP-Adressen oder ASNs zu blockieren oder anzufechten.

Es ist bei weitem das beste Tool, um unerwünschten Traffic auf Ihrer Website zu verwalten.

2. Wordfence

Meine zweite Verteidigungslinie ist das Wordfence-Plugin auf meiner Seite.

Es blockiert jeglichen schädlichen Datenverkehr, der an Cloudflare vorbeikommen könnte.

Die Anzahl der Blöcke variiert von Tag zu Tag. Aber im Durchschnitt werden jeden Tag zwischen 250 und 450 Versuche blockiert.

3. Serverschutz

Die letzte Verteidigungslinie ist mein ISP-Apache-Server.

Aus den Zugriffs- und Fehlerprotokollen kann ich nach unerwünschten Aktivitäten suchen, die der Server blockiert hat. Ich kann auch prüfen, ob erlaubte Aktivitäten verdächtig aussehen.

Dann kann ich Cloudflare oder Wordfence verwenden, um nach verdächtigen Aktivitäten zu suchen, die ich finde.

Spammer abfangen

Spammer sind eher ein Ärgernis als eine Bedrohung.

Aber es gibt relativ einfache Möglichkeiten, sie zu verwalten.

Kommentar-Spam-Plugin für WordPress

Akismet ist ein kostenloses Plugin, das recht gut funktioniert, um Kommentar-Spam in Ihrem Blog zu bekämpfen.

Die Genauigkeitsrate liegt bei etwa 99,5 %, es funktioniert also sehr gut.

Es gibt etwa 4.000 legitime Kommentare auf meiner Website. Aber Akismet hat über 75.000 Spam-Kommentare blockiert!

Wenn Sie viel Spam erhalten, besteht der einzige Nachteil darin, dass Sie von Akismet abgefangene Spam-Kommentare ständig löschen müssen.

Cloudflare-Firewallregel zum Stoppen von Kommentar-Spam

Je mehr Besucher Sie auf Ihre Website bekommen, desto mehr Spam-Kommentare erhalten Sie.

In diesem Fall können Sie das Problem mit einem Vorschlaghammer angehen, indem Sie eine einfache Cloudflare-Firewall-Regel verwenden, die Kommentar-Spammer von Ihrer Website blockiert.

Der Vorteil dieser Regel ist, dass sie sehr effektiv gegen Kommentar-Spam ist. Der einzige kleine Nachteil ist, dass es für echte Kommentatoren ein wenig Reibung verursacht.

Sie erhalten eine schnelle 2-5-sekündige Cloudflare-Benachrichtigung mit der Aufschrift Checking your browser , bevor sie einen Kommentar posten können.

Die meisten Leute sind damit vertraut, also ist es kein großes Problem.

Da Spammer jedoch keinen normalen Browser zum Einfügen von Kommentaren verwenden, werden sie blockiert.

Um diese Methode zu verwenden, fügen Sie Ihrer Cloudflare-Firewall die folgende Regel hinzu.

Regelname: Sie können einen beliebigen Namen wählen, um Ihre Regel zu identifizieren.

Feld: URI-Pfad

Betreiber: Enthält

Wert: /wp-comments.php

Aktion: JS-Challenge

Nachdem Sie die Regel aktiviert haben, können Sie überprüfen, wie gut sie funktioniert.

Wenn Sie den Mauszeiger über den Prozentsatz bewegen, sehen Sie, wie viele Herausforderungen gelöst wurden.

Die gelöste Zahl ist normalerweise für echte Kommentare, die die JS-Herausforderung bestanden haben. Sie können dies in den Protokollen Ihrer Website überprüfen.

Hier ist das Protokoll eines echten Kommentars, der bestanden und erfolgreich in meine Moderationswarteschlange aufgenommen wurde.

Das rote Rechteck hebt den erfolgreichen Cloudflare-Check hervor.

Für die meisten Websites ist dies keine Regel. Aber wenn Ihre Website von vielen Kommentar-Spam getroffen wird, ist es sehr effektiv.

Wie Sie sehen, musste ich im Laufe der Zeit über 75.000 Spam-Kommentare löschen.

Aber mit dieser Regel kommt jetzt kaum noch einer durch.

Zu beachten ist, dass Sie mit dieser Regel wahrscheinlich 4 Treffer sehen werden, die von Cloudflare für jeden fehlgeschlagenen Spam-Kommentarversuch blockiert werden.

Dies ist normal, da Cloudflare die Aktionen des Skripts blockiert, das der Spammer verwendet.

Für einen echten Kommentar sehen Sie jedoch einen Eintrag in Ihrer Firewall, da der Benutzer die JS-Herausforderung bestanden hat.

Also keine Panik, wenn Sie sehen, dass die Regel 300-400 Versuche pro Tag blockiert.

Sie erhalten möglicherweise immer noch gelegentlich Spam-Kommentare, wenn ein Spammer manuell postet. Aber Akismet wird es normalerweise fangen.

Wenn Sie genug von Kommentar-Spammern haben, erledigt diese Firewall-Regel die Arbeit für Sie.

SEO-Spam-E-Mails

Link-Outreach-Kampagnen sind jetzt nichts anderes als Spam.

In früheren Jahren galt es als legitime Praxis, nach Backlinks zu fragen.

Aber jetzt machen es SEO-Tools wie Semrush so einfach, diese Kampagnen direkt an Ihre E-Mail-Adresse zu automatisieren.

Sie können nichts anderes tun, als diese E-Mails zu löschen, sobald sie ankommen.

In meinem Fall können es 100-200 pro Tag sein, die nach Links, Gastbeiträgen oder gesponserten Beiträgen fragen.

Für mich ist dieser Betrag definitiv nichts anderes als reiner Spam.

Was kann man gegen Schaber tun?

Python und andere Formen des Web Scraping werden immer häufiger.

Es ist nicht leicht zu wissen, was man dagegen tun kann.

Kürzlich versuchte Linkedin, Web Scraper zu stoppen, aber ein US-Gericht entschied, dass Scraping legal sei.

Es ist relativ einfach, Scaper zu finden, die auf Ihre Website zugreifen. Sie können Ihre Serverzugriffsprotokolle nach Benutzeragenten wie python-requests oder python/3 durchsuchen.

Sie können auch eine temporäre Cloudflare-Firewallregel einrichten und eine Javascript-Herausforderung ausgeben. (http.user_agent enthält „python-requests“) oder (http.user_agent enthält „Python/3“)

Aber es gibt wenig, was Sie tun können, außer es zu überwachen. Die einzige Zeit, in der Sie einen Scraper wirklich herausfordern oder blockieren müssen, ist, wenn er Ihre Website zu oft trifft.

Ich hatte eine, die über 14.000 Mal pro Tag von über 50 verschiedenen IP-Adressen aus auf meine Website zugegriffen hat.

Es gibt legitime Gründe für das Scraping, wie z. B. SEO-Recherche oder Datenerfassung. Aber es gibt auch Content-Scaper, die Ihre Inhalte kopieren, stehlen und neu veröffentlichen.

Aber es ist nicht so einfach, den Unterschied zu erkennen.

Schwachstellen-Scanner

Dies ist eine andere Form von Bot-Traffic, die manchmal gut, aber meistens schlecht ist.

Websicherheitsunternehmen scannen natürlich und hilfreich nach Schwachstellen in Software, Plugins und Designs, die gepatcht und behoben werden können.

Aber dann gibt es Hacker, die nach denselben Schwachstellen suchen, um auf Websites zuzugreifen und diese zu kontrollieren.

Auch hier ist es nicht einfach, die Guten von den Bösen zu unterscheiden.

Der beste Ansatz besteht in den meisten Fällen darin, Cloudflare und Wordfence das Problem verwalten zu lassen. Aber manchmal muss ich einen manuellen Block hinzufügen, nur um sicherzugehen.

Gute Bots und schlechte Bots

Suchmaschinen wie Google und Bing verwenden Bots, um Ihre Website zu überprüfen. Ohne diese hätte Ihre Website keine Chance, indiziert zu werden und Ihre Seiten für die Suche zu ranken.

Sie möchten, dass Ihre Website und Ihre Blog-Beiträge bei Google und Bing ranken, also ja, das sind wirklich gute Bots.

Andere gute Bots helfen Ihnen bei der Analyse Ihres Datenverkehrs. Dazu gehören unter anderem Ahrefs, Semrush und Ubersuggest.

Aber ja, es gibt auch bösartige Bots wie Hacker und Spammer, die nicht Ihr Bestes im Sinn haben.

Zu lernen, wie man den Unterschied erkennt, ist nicht immer einfach. Aber das übermäßige Blockieren von Bots wird Ihnen oft mehr schaden als nützen.

Auch hier können Sie nur überwachen, überprüfen und dann auswählen, welche Sie blockieren oder herausfordern.

Ich verwende ein paar kostenlose Online-Tools, die mir bei der Überprüfung helfen.

Eine davon ist AbuseIPDB. Sie können jede IP-Adresse überprüfen, um festzustellen, ob sie als missbräuchlich gemeldet wurde.

Ein weiteres ist Scamalytics. Mit dieser App können Sie den Betrugs-Score einer IP-Adresse überprüfen.

Fazit

Es gibt keine Möglichkeit, Spam und schädlichen Bot-Traffic auf Ihrer Website oder Ihrem Blog zu stoppen.

Alles, was Sie tun können, ist es zu überwachen und dann zu versuchen, es so gut wie möglich zu verwalten.

Aber seien Sie nicht überrascht, wenn Sie feststellen, dass rund 65 % Ihres Website-Traffics automatisierte Bots sind.

Der neueste Bericht von Imperva bestätigt, dass die Aktivität bösartiger Bots jedes Jahr zunimmt.

Alles, was Websitebesitzer tun können und sollten, ist zu lernen, wie sie die Bedrohungen so effektiv wie möglich handhaben können.

Verwandte Lektüre: Cloudflare Cache Everything verbessert WordPress TTFB um 90 %