スパムと悪意のあるボット トラフィックが常に Web サイトを攻撃している

毎日、スパムや悪意のあるボット トラフィックの監視とブロックに費やす時間が増えているようです。

あなたのブログやウェブサイトが大きいか小さいかは問題ではありません。 ボットは常にそれを攻撃しています。

1 日あたりの訪問者数が非常に少ない小さなサイトを 2 つ確認すると、常に自動化されたボット トラフィックの安定した流れが見られます。

しかし、どの程度の Web トラフィックが自動化されているか、悪意のあるトラフィック、またはスパムであるかを把握するために、私は Just Publishing Advice の完全な監査を完了しました。 これが結果です。

スパムと悪意のあるボット トラフィックの監視

おそらく、Google アナリティクス (GA) でトラフィック数を確認します。

これは、ブログやウェブサイトのパフォーマンスを把握するための最高の無料ツールの 1 つです。

ユーザー数とページ ビュー数が着実に増加していることを確認することほど良いことはありません。

しかし、自動化された、疑わしい、または悪意のある訪問があなたのサイトに何回来るかはわかりません。

GA が無視または見逃したトラフィックを発見したい場合は、他のデータ ソースをさらに深く掘り下げる必要があります。

私はいくつかのツールを使用して、自分のサイトを監視し、悪意のある人物から保護しています。 幸いなことに、それらのほとんどは無料です。

私が使用する唯一の有料サービスは Statcounter で、月額 9.00 ドルしかかかりません。

GA と同様のデータを収集しますが、大きな利点は、IP アドレスとアウトバウンド リンクのアクティビティを報告することです。

このため、スクレイパー、自動化されたボット ヒットを監視および管理し、Adsense 広告の無効なクリックをチェックできます。

次に、私が発見したことを示すデータに進みます。

スパムおよび悪意のあるボット トラフィック アクティビティの詳細

平均して、私のサイトには 1 日あたり約 3,500 の実際のユーザー アクセスがあります。

私はいつももっと食べたいと思っていますが、それほど悪くはありません。

しかし、これは全体像ではありません。

他のソースからアクセスデータを確認して収集すると、私のサイトの実際のアクセス数は 1 日あたり約 11,500 です。

ご覧のとおり、私のサイトでは、ほとんどの分析ツールが報告するよりも多くのことが起こっています。

このデータを見るより良い方法は、パーセンテージです。

これは、私の 1 日の平均サイト トラフィックのパーセンテージ内訳です。

私のサイトへの毎日のすべての訪問のうち、実際の訪問者のトラフィックはわずか 32% です。

ただし、この数値は平均的なものと思われます。

Help Net Security は 2021 年に、自動化されたトラフィックがインターネット トラフィックの 64% を占めると報告しました。

どのサイトもボット トラフィックに見舞われているため、これは現実です。

ただし、サイトのトラフィックを時々チェックすることは依然として価値があります。

サイトのスパムおよび悪意のあるボットのトラフィック データにアクセスする方法

前述したように、私は主に無料のツールを使用しています。

これらは、スパムや悪意のあるボット トラフィックに対する私の防衛線を形成します。

1. クラウドフレア

Cloudflare は、サイトの読み込みを高速化するための CDN にすぎないと考えるかもしれません。

しかし、それは無料アカウントの副次的な利点にすぎません。 Cloudflare を使用する本当の利点はセキュリティです。

その Web アプリケーション ファイアウォール (WAF) は、私の防御の最前線です。

プライバシー保護のためIPアドレスは伏せさせて頂いております。 しかし、この 1 日に発行されたブロックとチャレンジの総数は 1,728 であることがわかります。

WAF を使用すると、独自のファイアウォール ルールを設定したり、ツールを使用して IP アドレスや ASN をブロックまたはチャレンジしたりできます。

これは、サイトの望ましくないトラフィックを管理するための最良のツールです。

2. ワードフェンス

私の 2 番目の防衛線は、私のサイトの Wordfence プラグインです。

Cloudflare を通過する可能性のある悪意のあるトラフィックをブロックします。

ブロックの数は日によって異なります。 しかし、平均すると、毎日 250 ～ 450 回の試行がブロックされます。

3. サーバー保護

最後の防衛線は、私の ISP Apache サーバーです。

アクセス ログとエラー ログから、サーバーがブロックした望ましくないアクティビティをスキャンできます。 また、許可されたアクティビティが疑わしいと思われるかどうかも確認できます。

次に、Cloudflare または Wordfence を使用して、見つけた疑わしいアクティビティを監視できます。

スパマーを捕まえる

スパム送信者は脅威というより迷惑です。

しかし、それらを管理する比較的簡単な方法があります。

WordPress コメントスパムプラグイン

Akismet は無料のプラグインで、ブログのコメント スパムと戦うのに非常に効果的です。

正解率は約99.5%なので、とてもうまくいきます。

私のサイトには約 4,000 件の正当なコメントがあります。 しかし、Akismet は 75,000 件以上のスパムコメントをブロックしました!

大量のスパムを受け取った場合、唯一の欠点は、Akismet がキャッチしたスパム コメントを削除し続けなければならないことです。

コメント スパムを阻止するための Cloudflare ファイアウォール ルール

サイトへのトラフィックが増えるほど、スパム コメントが増えることになります。

この場合、サイトからのコメント スパマーをブロックするシンプルな Cloudflare ファイアウォール ルールを使用して、問題に大打撃を与えるアプローチを取ることができます。

このルールの利点は、コメント スパムに対して非常に効果的であることです。 唯一のわずかな欠点は、本物のコメント投稿者にとって少し摩擦が生じることです。

コメントを投稿する前に、 「ブラウザーを確認しています」という Cloudflare の通知が 2 ～ 5 秒で届きます。

ほとんどの人はこれに精通しているので、大きな問題ではありません。

しかし、スパマーは通常のブラウザーを使用してコメントを挿入しないため、ブロックされます。

この方法を使用するには、次のルールを Cloudflare ファイアウォールに追加します。

ルール名: ルールを識別するために任意の名前を選択できます。

フィールド: URI パス

演算子:含む

値: /wp-comments.php

アクション: JS チャレンジ

ルールを有効にした後、ルールがどの程度機能しているかを確認できます。

パーセンテージにカーソルを合わせると、解決された課題の数が表示されます。

解決済みの数字は、通常、JS チャレンジに合格した本物のコメントです。 これは、サイトのログで確認できます。

これは、私のモデレーション キューを通過して正常に入力された本物のコメントのログです。

赤い長方形は、成功した Cloudflare チェックを強調しています。

ほとんどのサイトの規則ではありません。 しかし、サイトが大量のコメント スパムに見舞われている場合は、非常に効果的です。

ご覧のとおり、75,000 件以上のスパム コメントを削除する必要がありました。

しかし、このルールでは、今ではほとんど成功しません。

注意すべきことの 1 つは、このルールでは、スパム コメントの試みが失敗するたびに、Cloudflare によってブロックされるヒットがおそらく 4 つ表示されることです。

スパマーが使用しているスクリプトのアクションを Cloudflare がブロックしているため、これは正常な動作です。

ただし、本物のコメントについては、ユーザーが JS チャレンジに合格したため、ファイアウォールに 1 つのエントリが表示されます。

そのため、ルールが 1 日あたり 300 ～ 400 回の試行をブロックしている場合でも慌てる必要はありません。

スパマーが手動で投稿した場合でも、時折スパム コメントを受け取ることがあります。 しかし、Akismet は通常それをキャッチします。

コメント スパマーにうんざりしている場合は、このファイアウォール ルールが役に立ちます。

SEOスパムメール

リンク アウトリーチ キャンペーンは、もはやスパムにすぎません。

過去数年間、バックリンクを求めることは正当な慣行と見なされていました。

しかし今では、Semrush のような SEO ツールを使用すると、これらのキャンペーンを自動化してメール アドレスに直接送信することが非常に簡単になります。

これらの電子メールが届いたら削除する以外にできることはありません。

私の場合、1 日あたり 100 ～ 200 件で、リンク、ゲスト投稿、またはスポンサー付き投稿の掲載を求めています。

私にとって、その量は間違いなく純粋なスパムに過ぎないと考えています。

スクレーパーについて何ができますか?

Python やその他の形式の Web スクレイピングは、ますます一般的になっています。

それについて何をすべきかを知ることは容易ではありません。

最近、Linkedin は Web スクレイパーを阻止しようとしましたが、米国の裁判所はスクレイピングは合法であるとの判決を下しました。

サイトにアクセスしているスケーパーを見つけるのは比較的簡単です。 python-requests や python/3 などのユーザー エージェントのサーバー アクセス ログを検索できます。

一時的な Cloudflare ファイアウォール ルールを設定して、javascript チャレンジを発行することもできます。 (http.user_agent には「python-requests」が含まれます) または (http.user_agent には「Python/3」が含まれます)

しかし、それを監視する以外にできることはほとんどありません。 スクレイパーに異議を唱えたりブロックしたりする必要があるのは、スクレイパーが頻繁にサイトにアクセスしている場合だけです。

50 を超える異なる IP アドレスから 1 日あたり 14,000 回以上サイトにアクセスするサイトがありました。

SEO の調査やデータ収集など、スクレイピングには正当な理由があります。 しかし、あなたのコンテンツをコピー、盗み、再公開するコンテンツ詐欺師もいます。

しかし、違いを見分けるのはそう簡単ではありません。

脆弱性スキャナー

これはボット トラフィックの別の形態で、良い場合もありますがほとんど悪い場合もあります。

Web セキュリティ企業は、パッチを適用して修正できるソフトウェア、プラグイン、およびテーマの脆弱性を自然かつ有益にスキャンします。

しかし、Web サイトにアクセスして制御するために同じ脆弱性を探しているハッカーがいます。

繰り返しますが、善人と悪人を見分けるのは簡単ではありません。

最善のアプローチは、ほとんどの場合、Cloudflare と Wordfence に問題を管理させることです。 しかし、念のために手動ブロックを追加しなければならない場合があります。

良いボットと悪いボット

Google や Bing などの検索エンジンは、ボットを使用してサイトをチェックします。 これらがなければ、サイトがインデックスに登録されたり、ページが検索でランク付けされたりする可能性はありません.

サイトとブログの投稿を Google と Bing でランク付けしたいので、そうです、これらは本当に優れたボットです。

他の優れたボットは、トラフィックの分析に役立ちます。 これらには、Ahrefs、Semrush、Ubersuggest などが含まれる場合があります。

しかし、もちろん、ハッカーやスパマーなど、ユーザーの最善の利益を考えていない悪質なボットも存在します。

違いを見分ける方法を学ぶことは必ずしも容易ではありません。 しかし、ボットを過度にブロックすると、多くの場合、利益よりも害が大きくなります。

繰り返しになりますが、できることは、監視、チェック、およびブロックまたは挑戦するものを選択することだけです.

いくつかの無料のオンライン ツールを使用して確認しています。

1 つは AbuseIPDB です。 任意の IP アドレスをチェックして、不正使用として報告されているかどうかを確認できます。

もう1つはSmalyticsです。 このアプリでは、IP アドレスの不正スコアを確認できます。

結論

Web サイトやブログでのスパムや悪意のあるボットのトラフィックを止める方法はありません。

あなたにできることは、それを監視し、できる限り最善を尽くして管理することだけです.

しかし、サイト トラフィックの約 65% が自動化されたボットであることに気付いても驚かないでください。

Imperva の最新のレポートでは、悪質なボットの活動が年々増加していることを確認しています。

サイトの所有者ができること、また行うべきことは、できるだけ効果的に脅威を管理する方法を学ぶことだけです。

関連資料: Cloudflare Cache Everything で WordPress TTFB が 90% 向上