إن حركة المرور غير المرغوب فيها والروبوتات السيئة تضرب دائمًا موقع الويب الخاص بك

يبدو أنني أقضي المزيد والمزيد من الوقت كل يوم في مراقبة وحظر البريد العشوائي وحركة المرور السيئة للروبوتات.

لا يهم إذا كانت مدونتك أو موقع الويب الخاص بك كبيرًا أو صغيرًا ؛ الروبوتات تضربها طوال الوقت.

عندما أتحقق من موقعين من مواقعي الصغيرة التي تستقبل عددًا قليلاً جدًا من الزوار يوميًا ، هناك دائمًا تدفق مستمر لحركة مرور الروبوت الآلية.

ولكن لإعطائك فكرة عن مقدار حركة مرور الويب المؤتمتة أو الضارة أو غير المرغوب فيها ، فقد أكملت تدقيقًا كاملاً لـ Just Publishing Advice. ها هي النتائج.

مراقبة البريد العشوائي وحركة المرور السيئ

ربما تتحقق من أرقام الزيارات الخاصة بك باستخدام Google Analytics (GA).

إنها واحدة من أفضل الأدوات المجانية للحصول على فكرة عن مدى جودة أداء مدونتك أو موقعك على الويب.

لا يوجد شيء أفضل من رؤية زيادة مطردة في عدد المستخدمين ومرات مشاهدة الصفحة.

ولكن ما لا يخبرك به هو عدد الزيارات الآلية أو المشبوهة أو الضارة التي يتلقاها موقعك.

إذا كنت تريد اكتشاف حركة المرور التي يتجاهلها GA أو يفوتها ، فأنت بحاجة إلى التعمق في مصادر البيانات الأخرى.

أستخدم عددًا قليلاً من الأدوات لمراقبة موقعي وحمايته من العناصر السيئة. لحسن الحظ ، معظمهم مجاني.

الخدمة المدفوعة الوحيدة التي أستخدمها هي Statcounter ، والتي لا تكلفني سوى 9.00 دولارات شهريًا.

يجمع بيانات مماثلة لـ GA ، لكن الميزة الكبيرة هي أنه يبلغ عن عناوين IP ونشاط الارتباط الخارجي.

لهذا السبب ، يمكنني مراقبة وإدارة أدوات الكشط ، وضربات الروبوت الآلية ، والتحقق من النقرات غير الصالحة على إعلانات Adsense.

الآن ننتقل إلى البيانات لتظهر لك ما اكتشفته.

البريد العشوائي ونشاط حركة المرور السيئ في الروبوت بالتفصيل

في المتوسط ​​، يستقبل موقعي حوالي 3500 زيارة مستخدم حقيقي يوميًا.

أرغب دائمًا في الحصول على المزيد ، لكن هذا ليس سيئًا للغاية.

لكن هذه ليست الصورة الكاملة.

عندما أتحقق من بيانات الوصول وأجمعها من مصادر أخرى ، فإن العدد الحقيقي للزيارات على موقعي هو حوالي 11500 يوميًا.

كما ترى ، هناك الكثير مما يحدث على موقعي أكثر من تقرير معظم أدوات التحليل.

أفضل طريقة للنظر إلى هذه البيانات هي النسب المئوية.

فيما يلي توزيع النسبة المئوية لمتوسط ​​حركة المرور اليومية على الموقع.

من بين جميع الزيارات إلى موقعي كل يوم ، 32٪ فقط هي حركة زوار حقيقية.

ومع ذلك ، يبدو أن هذا الرقم متوسط.

ذكرت Help Net Security في عام 2021 أن حركة المرور الآلية تشكل 64 ٪ من حركة المرور على الإنترنت.

يتعرض كل موقع لحركة مرور روبوت ، لذا فهي حقيقة من حقائق الحياة.

ولكن لا يزال من المفيد التحقق من حركة المرور على موقعك من وقت لآخر.

كيفية الوصول إلى البريد العشوائي وبيانات حركة المرور السيئة في موقعك

كما ذكرت من قبل ، أستخدم في الغالب أدوات مجانية.

هذه تشكل خطوط دفاعي ضد البريد العشوائي وحركة المرور السيئة للروبوتات.

1. Cloudflare

قد تعتقد أن Cloudflare ليست سوى CDN لجعل تحميل موقعك أسرع.

لكن هذه مجرد فائدة جانبية من الحساب المجاني. الميزة الحقيقية لاستخدام Cloudflare هي الأمان.

جدار حماية تطبيقات الويب (WAF) هو خط دفاعي الأول.

لقد قمت بإخفاء عناوين IP بسبب الخصوصية. ولكن يمكنك أن ترى العدد الإجمالي للكتل والتحديات التي تم إصدارها لهذا اليوم الواحد هو 1،728.

باستخدام WAF ، يمكنك تعيين قواعد جدار الحماية الخاصة بك أو استخدام الأدوات لحظر عناوين IP أو ASN أو تحديها.

إنها إلى حد بعيد أفضل أداة لإدارة حركة المرور غير المرغوب فيها على موقعك.

2. Wordfence

خط دفاعي الثاني هو مكون Wordfence الإضافي على موقعي.

يمنع أي حركة مرور ضارة قد تتجاوز Cloudflare.

يختلف عدد الكتل من يوم لآخر. لكن في المتوسط ​​، يمنع ما بين 250-450 محاولة كل يوم.

3. حماية الخادم

آخر خط دفاعي هو خادم Apache الخاص بمزود خدمة الإنترنت.

من سجلات الوصول والأخطاء ، يمكنني البحث عن أي نشاط غير مرغوب فيه حظره الخادم. يمكنني أيضًا التحقق مما إذا كان أي نشاط مسموح به يبدو مريبًا.

ثم يمكنني استخدام Cloudflare أو Wordfence لرعاية أي نشاط مشبوه أجده.

اصطياد مرسلي البريد العشوائي

مرسلي البريد العشوائي مصدر إزعاج أكثر من كونهم تهديدًا.

لكن هناك طرقًا سهلة نسبيًا لإدارتها.

ووردبريس تعليق البريد المزعج البرنامج المساعد

Akismet هو مكون إضافي مجاني يعمل جيدًا لمكافحة التعليقات غير المرغوب فيها على مدونتك.

تبلغ نسبة الدقة حوالي 99.5٪ ، لذا فهي تعمل بشكل جيد للغاية.

هناك حوالي 4000 تعليق شرعي على موقعي. لكن Akismet منعت أكثر من 75000 تعليق غير مرغوب فيه!

إذا تلقيت الكثير من الرسائل غير المرغوب فيها ، فإن العيب الوحيد هو أنه يتعين عليك الاستمرار في حذف التعليقات غير المرغوب فيها التي تم التقاطها بواسطة Akismet.

قاعدة جدار الحماية Cloudflare لإيقاف التعليقات غير المرغوب فيها

كلما زادت حركة المرور إلى موقعك ، زادت تعليقات البريد العشوائي.

في هذه الحالة ، يمكنك اتباع نهج مطرقة لحل المشكلة باستخدام قاعدة جدار حماية Cloudflare البسيطة التي ستحظر مرسلي التعليقات المزعجة من موقعك.

الجانب الإيجابي لهذه القاعدة هو أنها فعالة للغاية ضد التعليقات غير المرغوب فيها. الجانب السلبي الطفيف الوحيد هو أنه يضيف القليل من الاحتكاك للمعلقين الحقيقيين.

سيتلقون إشعارًا سريعًا من Cloudflare من 2 إلى 5 ثوانٍ يقول ، التحقق من المستعرض الخاص بك ، قبل أن يتمكنوا من نشر تعليق.

معظم الناس على دراية بهذا الأمر ، لذا فهو ليس مشكلة كبيرة.

ولكن نظرًا لأن مرسلي البريد العشوائي لا يستخدمون متصفحًا عاديًا لإدخال التعليقات ، فسيتم حظرهم.

لاستخدام هذه الطريقة ، أضف القاعدة التالية إلى جدار الحماية Cloudflare.

اسم القاعدة: يمكنك اختيار أي اسم لتعريف قاعدتك.

الحقل: مسار URI

المشغل: يحتوي على

القيمة: /wp-comments.php

الإجراء: JS Challenge

بعد تنشيط القاعدة ، يمكنك التحقق من مدى نجاحها.

إذا قمت بالمرور فوق النسبة المئوية ، فسترى عدد التحديات التي تم حلها.

عادةً ما يكون الرقم الذي تم حله للتعليقات الحقيقية التي اجتازت تحدي JS. يمكنك التحقق من ذلك في سجلات موقعك.

هذا هو سجل التعليق الحقيقي الذي تم تمريره ودخل بنجاح إلى قائمة انتظار الإشراف الخاصة بي.

يسلط المستطيل الأحمر الضوء على فحص Cloudflare الناجح.

إنها ليست قاعدة لمعظم المواقع. ولكن إذا تعرض موقعك للكثير من التعليقات غير المرغوب فيها ، فهو فعال للغاية.

كما ترى ، اضطررت إلى حذف أكثر من 75000 تعليق غير مرغوب فيه بمرور الوقت.

لكن مع هذه القاعدة ، بالكاد يمر أي منهم الآن.

الشيء الوحيد الذي يجب ملاحظته هو أنه مع هذه القاعدة ، من المحتمل أن ترى 4 نتائج تم حظرها بواسطة Cloudflare لكل محاولة تعليق غير مرغوب فيها فاشلة.

هذا أمر طبيعي لأن Cloudflare يحظر إجراءات البرنامج النصي الذي يستخدمه مرسل البريد العشوائي.

ومع ذلك ، للحصول على تعليق حقيقي ، سترى إدخالًا واحدًا في جدار الحماية الخاص بك لأن المستخدم قد اجتاز تحدي JS.

لذلك لا داعي للذعر إذا رأيت أن القاعدة تمنع 300-400 محاولة في اليوم.

لا يزال بإمكانك تلقي التعليقات غير المرغوب فيها من حين لآخر إذا قام مرسل بريد عشوائي بنشره يدويًا. لكن أكيسميت عادة ما يمسك بها.

إذا كان لديك عدد كافٍ من مرسلي التعليقات المزعجة ، فستؤدي قاعدة جدار الحماية هذه المهمة نيابةً عنك.

سيو البريد الإلكتروني العشوائي

لا تعد حملات التوعية عبر الروابط الآن أكثر من مجرد بريد عشوائي.

كان يعتبر من الممارسات المشروعة طلب الروابط الخلفية في السنوات الماضية.

ولكن الآن ، أدوات تحسين محركات البحث مثل Semrush تجعل من السهل جدًا أتمتة هذه الحملات مباشرةً إلى عنوان بريدك الإلكتروني.

لا يوجد شيء يمكنك القيام به بخلاف حذف رسائل البريد الإلكتروني هذه عند وصولها.

في حالتي ، يمكن أن يكون 100-200 يوميًا ، يسأل عن الروابط ، أو منشورات الضيف ، أو التنسيب للرعاية.

بالنسبة لي ، هذا المبلغ هو بالتأكيد ما أعتبره ليس أكثر من مجرد بريد عشوائي.

ماذا يمكنك أن تفعل بشأن الكاشطات؟

أصبحت Python وغيرها من أشكال تجريف الويب أكثر شيوعًا.

ليس من السهل معرفة ما يجب فعله حيال ذلك.

في الآونة الأخيرة ، حاول لينكد إن إيقاف برامج كشط الويب ، لكن محكمة أمريكية قضت بأن الكشط قانوني.

من السهل نسبيًا العثور على الأوراق التي تصل إلى موقعك. يمكنك البحث في سجلات الوصول إلى الخادم عن وكلاء المستخدم مثل طلبات python أو python / 3.

يمكنك أيضًا إعداد قاعدة جدار حماية Cloudflare مؤقتة وإصدار تحدي جافا سكريبت. (يحتوي http.user_agent على "طلبات python") أو (يحتوي http.user_agent على "Python / 3")

ولكن ليس هناك الكثير مما يمكنك فعله بخلاف مراقبته. المرة الوحيدة التي تحتاج فيها حقًا إلى تحدي أو حظر مكشطة هي عندما تضرب موقعك كثيرًا.

كان لدي واحد يضرب موقعي أكثر من 14000 مرة في اليوم من أكثر من 50 عنوان IP مختلف.

هناك أسباب مشروعة للإلغاء ، مثل البحث عن تحسين محركات البحث أو جمع البيانات. ولكن هناك أيضًا أوراق محتوى تقوم بنسخ المحتوى الخاص بك وسرقته وإعادة نشره.

لكن ليس من السهل معرفة الفرق.

ماسحات الضعف

هذا شكل آخر من أشكال حركة البيانات الآلية التي تكون أحيانًا جيدة ولكنها سيئة في الغالب.

تقوم شركات أمان الويب بشكل طبيعي ومفيد بالبحث عن البرامج والمكونات الإضافية والثغرات الأمنية التي يمكن تصحيحها وإصلاحها.

ولكن بعد ذلك ، هناك قراصنة يبحثون عن نفس نقاط الضعف للوصول إلى مواقع الويب والتحكم فيها.

مرة أخرى ، ليس من السهل التمييز بين الأخيار والأشرار.

أفضل طريقة هي السماح لـ Cloudflare و Wordfence بإدارة المشكلة في معظم الحالات. ولكن هناك أوقات يتعين علي فيها إضافة كتلة يدوية فقط للتأكد.

روبوتات جيدة وروبوتات سيئة

تستخدم محركات البحث مثل Google و Bing برامج الروبوت للتحقق من موقعك. بدونها ، لن يحظى موقعك بفرصة فهرسته وترتيب صفحاتك للبحث.

تريد تصنيف منشورات موقعك ومدونتك على Google و Bing ، لذا نعم ، هذه روبوتات جيدة حقًا.

تساعدك الروبوتات الجيدة الأخرى على تحليل حركة المرور الخاصة بك. قد تشمل هذه Ahrefs و Semrush و Ubersuggest ، من بين أمور أخرى.

لكن نعم ، هناك أيضًا روبوتات سيئة مثل المتسللين ومرسلي البريد العشوائي الذين لا يضعون في الاعتبار اهتماماتك الفضلى.

تعلم كيفية معرفة الفرق ليس بالأمر السهل دائمًا. لكن الحظر المفرط للروبوتات سيؤدي في كثير من الأحيان إلى إلحاق الضرر أكثر مما ينفع.

مرة أخرى ، كل ما يمكنك القيام به هو المراقبة والتحقق ثم الاختيار فيما يتعلق بأي منها تحظره أو تتحدى.

أستخدم بعض الأدوات المجانية عبر الإنترنت لمساعدتي في التحقق.

واحد هو AbuseIPDB. يمكنك التحقق من أي عنوان IP لمعرفة ما إذا تم الإبلاغ عن أنه مسيء.

آخر هو احتيال. باستخدام هذا التطبيق ، يمكنك التحقق من درجة الاحتيال لعنوان IP.

استنتاج

لا توجد طريقة يمكنك من خلالها إيقاف البريد العشوائي وحركة المرور السيئة للروبوتات على موقعك على الويب أو مدونتك.

كل ما يمكنك فعله هو مراقبته ثم محاولة إدارته بأفضل ما يمكنك.

لكن لا تتفاجأ إذا اكتشفت أن حوالي 65٪ من حركة المرور على موقعك عبارة عن روبوتات آلية.

يؤكد أحدث تقرير من Imperva أن نشاط الروبوت السيئ يتزايد كل عام.

يمكن لجميع مالكي المواقع القيام به ، وينبغي عليهم القيام به ، هو تعلم كيفية إدارة التهديدات بأكبر قدر ممكن من الفعالية.

القراءة ذات الصلة: ذاكرة التخزين المؤقت Cloudflare ، كل شيء يحسن WordPress TTFB بنسبة 90٪