垃圾郵件和不良機器人流量總是會攻擊您的網站

我似乎每天都花越來越多的時間來監控和阻止垃圾郵件和惡意機器人流量。

您的博客或網站是大是小並不重要； 機器人一直在攻擊它。

當我檢查幾個每天訪問者很少的小型網站時，總是有源源不斷的自動機器人流量。

但為了讓您了解有多少網絡流量是自動化的、惡意的或垃圾郵件，我完成了對 Just Publishing Advice 的全面審核。 這是結果。

監控垃圾郵件和不良機器人流量

您可能會使用 Google Analytics (GA) 檢查您的流量數據。

它是了解您的博客或網站表現如何的最佳免費工具之一。

沒有什麼比看到用戶數量和頁面瀏覽量穩步增長更好的了。

但它沒有告訴您的是您的網站收到了多少自動、可疑或惡意訪問。

如果您想發現 GA 忽略或遺漏的流量，您需要更深入地挖掘其他數據源。

我使用一些工具來監控和保護我的網站免受不良行為者的侵害。 幸運的是，其中大部分都是免費的。

我使用的唯一付費服務是 Statcounter，每月只需 9.00 美元。

它收集與 GA 類似的數據，但最大的優勢是它報告 IP 地址和出站鏈接活動。

因此，我可以監控和管理抓取工具、自動機器人點擊並檢查無效的 Adsense 廣告點擊。

現在用數據向您展示我的發現。

垃圾郵件和不良機器人流量活動的詳細信息

平均而言，我的網站每天收到大約 3,500 次真實用戶訪問。

我總是想要更多，但這還不算太糟糕。

但這還不是全部。

當我檢查和收集來自其他來源的訪問數據時，我網站的實際點擊量約為每天 11,500 次。

如您所見，我網站上發生的事情比大多數分析工具報告的要多得多。

查看此數據的更好方法是百分比。

這是我平均每日網站流量的百分比細分。

在每天訪問我網站的所有訪問量中，只有 32% 是真正的訪問者流量。

然而，這個數字似乎是平均水平。

Help Net Security 在 2021 年報告稱，自動化流量佔互聯網流量的 64%。

每個站點都受到機器人流量的攻擊，所以這是一個不爭的事實。

但是不時檢查您的網站流量仍然是值得的。

如何訪問您網站的垃圾郵件和惡意機器人流量數據

正如我之前提到的，我主要使用免費工具。

這些構成了我抵禦垃圾郵件和不良機器人流量的防線。

1.雲彩

您可能認為 Cloudflare 只是一個用於加快站點加載速度的 CDN。

但這只是免費帳戶的附帶好處。 使用 Cloudflare 的真正優勢是安全性。

它的 Web 應用程序防火牆 (WAF) 是我的第一道防線。

出於隱私考慮，我屏蔽了 IP 地址。 但是你可以看到這一天發出的區塊和挑戰總數是1,728。

借助 WAF，您可以設置自己的防火牆規則或使用工具來阻止或質詢 IP 地址或 ASN。

它是迄今為止管理網站上不受歡迎的流量的最佳工具。

2. Wordfence

我的第二道防線是我網站上的 Wordfence 插件。

它阻止任何可能通過 Cloudflare 的惡意流量。

塊的數量每天都在變化。 但平均而言，它每天會阻止 250-450 次嘗試。

3.服務器保護

最後一道防線是我的 ISP Apache 服務器。

從訪問和錯誤日誌中，我可以掃描服務器阻止的任何不良活動。 我還可以檢查是否有任何允許的活動看起來可疑。

然後我可以使用 Cloudflare 或 Wordfence 來處理我發現的任何可疑活動。

捕捉垃圾郵件發送者

垃圾郵件發送者與其說是一種威脅，不如說是一種麻煩。

但是有相對簡單的方法來管理它們。

WordPress評論垃圾郵件插件

Akismet 是一個免費插件，可以很好地打擊博客上的垃圾評論。

準確率在99.5%左右，所以效果很好。

我的網站上大約有 4,000 條合法評論。 但是 Akismet 已經屏蔽了超過 75,000 條垃圾評論！

如果您收到大量垃圾評論，唯一的缺點是您必須不斷刪除 Akismet 捕獲的垃圾評論。

Cloudflare 防火牆規則阻止評論垃圾郵件

您訪問網站的流量越多，您收到的垃圾評論就越多。

在這種情況下，您可以採用簡單的 Cloudflare 防火牆規則來解決問題，該規則將阻止來自您網站的垃圾評論發送者。

這條規則的好處是它對垃圾評論非常有效。 唯一的小缺點是它給真正的評論者增加了一點摩擦。

他們將在 2-5 秒後快速收到一條 Cloudflare 通知，上面寫著“正在檢查您的瀏覽器”，然後他們才能發表評論。

大多數人都熟悉這一點，所以這不是什麼大問題。

但是因為垃圾郵件發送者不使用普通瀏覽器來注入評論，所以他們會被阻止。

要使用此方法，請將以下規則添加到您的 Cloudflare 防火牆。

規則名稱：您可以選擇任何名稱來標識您的規則。

字段： URI 路徑

運算符：包含

值： /wp-comments.php

動作： JS 挑戰

激活規則後，您可以檢查它的工作情況。

如果將鼠標懸停在百分比上，您將看到解決了多少挑戰。

解決的數字通常是通過 JS 挑戰的真實評論。 您可以在您網站的日誌中查看這一點。

這是通過並成功進入我的審核隊列的真實評論的日誌。

紅色矩形突出顯示 Cloudflare 檢查成功。

這不是大多數網站的規則。 但是，如果您的網站受到大量評論垃圾郵件的攻擊，它就非常有效。

如您所見，隨著時間的推移，我不得不刪除超過 75,000 條垃圾評論。

但是有了這個規則，現在幾乎沒有人通過。

需要注意的一件事是，使用此規則，對於每次失敗的垃圾評論嘗試，您可能會看到 Cloudflare 阻止了 4 次點擊。

這是正常現象，因為 Cloudflare 正在阻止垃圾郵件發送者正在使用的腳本的操作。

但是，對於真正的評論，您會在防火牆中看到一個條目，因為用戶已經通過了 JS 挑戰。

因此，如果您看到規則每天阻止 300-400 次嘗試，請不要驚慌。

如果垃圾郵件發送者手動發布，您可能仍會偶爾收到垃圾郵件評論。 但 Akismet 通常會捕獲它。

如果您受夠了垃圾評論發送者，則此防火牆規則將為您完成這項工作。

SEO垃圾郵件

鏈接外展活動現在只不過是垃圾郵件。

在過去的幾年裡，要求反向鏈接被認為是一種合法的做法。

但是現在，像 Semrush 這樣的 SEO 工具可以很容易地自動將這些活動直接發送到您的電子郵件地址。

除了在這些電子郵件到達時將其刪除之外，您無能為力。

在我的例子中，它可以是每天 100-200 個，要求鏈接、訪客帖子或贊助帖子放置。

對我來說，這個數量絕對是我認為無非是純粹的垃圾郵件。

你能用刮刀做什麼？

Python 和其他形式的網絡抓取正變得越來越普遍。

要知道該怎麼做並不容易。

最近，Linkedin 試圖阻止網絡抓取，但美國法院裁定抓取是合法的。

找到訪問您網站的 scaper 相對容易。 您可以在服務器訪問日誌中搜索用戶代理，例如 python-requests 或 python/3。

您還可以設置臨時 Cloudflare 防火牆規則並發出 javascript 質詢。 （http.user_agent 包含“python-requests”）或（http.user_agent 包含“Python/3”）

但是除了監視它之外，您幾乎無能為力。 您真正需要挑戰或阻止爬蟲的唯一時間是它過於頻繁地訪問您的網站。

我有一個每天從 50 多個不同的 IP 地址訪問我的網站超過 14,000 次。

抓取有正當理由，例如 SEO 研究或數據收集。 但也有一些內容盜版者會復制、竊取和重新發布您的內容。

但要區分兩者並不容易。

漏洞掃描器

這是另一種形式的機器人流量，有時是好的，但大多數時候是壞的。

Web 安全公司自然且有益地掃描可以修補和修復的軟件、插件和主題漏洞。

但也有黑客正在尋找相同的漏洞來訪問和控製網站。

同樣，要區分好人和壞人並不容易。

在大多數情況下，最好的方法是讓 Cloudflare 和 Wordfence 來管理這個問題。 但有時我必須添加一個手動塊才能確定。

好機器人和壞機器人

Google 和 Bing 等搜索引擎使用機器人來檢查您的網站。 沒有這些，您的網站將永遠沒有機會被編入索引和您的網頁排名搜索。

您希望您的網站和博客帖子在 Google 和 Bing 上排名，所以是的，這些都是非常好的機器人。

其他優秀的機器人可以幫助您分析流量。 這些可能包括 Ahrefs、Semrush 和 Ubersuggest 等。

但是，是的，也有像黑客和垃圾郵件發送者這樣的壞機器人，它們並沒有把您的最大利益放在心上。

學習如何區分並不總是那麼容易。 但過度阻止機器人往往弊大於利。

同樣，您所能做的就是監視、檢查，然後選擇要阻止或挑戰的對象。

我使用一些免費的在線工具來幫助我檢查。

一種是濫用IPDB。 您可以檢查任何 IP 地址，看看它是否被報告為濫用。

另一個是 Scamalytics。 使用此應用程序，您可以檢查 IP 地址的欺詐分數。

結論

您無法阻止網站或博客上的垃圾郵件和不良機器人流量。

您所能做的就是監控它，然後儘可能地管理它。

但是，如果您發現大約 65% 的站點流量是自動機器人，請不要感到驚訝。

Imperva 的最新報告證實，不良機器人程序活動每年都在增加。

所有站點所有者可以做的，也應該做的，就是學習如何盡可能有效地管理威脅。

相關閱讀： Cloudflare Cache Everything 將 WordPress TTFB 提高 90%