Spam ve Kötü Bot Trafiği Web Sitenizi Her Zaman Vuruyor

Her gün spam ve kötü bot trafiğini izlemek ve engellemek için giderek daha fazla zaman harcıyorum.

Blogunuzun veya web sitenizin büyük veya küçük olması fark etmez; botlar sürekli vuruyor.

Günde çok az ziyaretçi alan birkaç küçük sitemi kontrol ettiğimde, her zaman düzenli bir otomatik bot trafiği akışı var.

Ancak web trafiğinin ne kadarının otomatik, kötü niyetli veya spam olduğu konusunda size bir fikir vermek için Just Publishing Advice'ın tam denetimini tamamladım. Sonuçlar burada.

Spam ve kötü bot trafiğini izleme

Muhtemelen trafik numaralarınızı Google Analytics (GA) ile kontrol ediyorsunuz.

Blogunuzun veya web sitenizin ne kadar iyi performans gösterdiği hakkında fikir edinmek için en iyi ücretsiz araçlardan biridir.

Kullanıcı sayısında ve sayfa görüntülemelerinde istikrarlı bir artış görmekten daha iyi bir şey yoktur.

Ancak size söylemediği şey, sitenizin kaç tane otomatik, şüpheli veya kötü niyetli ziyaret aldığıdır.

GA'nın yok saydığı veya kaçırdığı trafiği keşfetmek istiyorsanız, diğer veri kaynaklarıyla daha derine inmeniz gerekir.

Sitemi kötü oyunculardan izlemek ve korumak için bir avuç araç kullanıyorum. Neyse ki, çoğu ücretsizdir.

Kullandığım tek ücretli hizmet, bana ayda yalnızca 9,00 dolara mal olan Statcounter.

GA'ya benzer verileri toplar, ancak en büyük avantajı IP adreslerini ve giden bağlantı etkinliğini bildirmesidir.

Bu nedenle, kazıyıcıları, otomatik bot vuruşlarını izleyip yönetebiliyor ve geçersiz Adsense reklam tıklamalarını kontrol edebiliyorum.

Şimdi size ne keşfettiğimi göstermek için verilere geçelim.

Ayrıntılı olarak spam ve kötü bot trafik etkinliği

Ortalama olarak, sitem günde yaklaşık 3.500 gerçek kullanıcı ziyareti alıyor.

Her zaman daha fazlasına sahip olmak isterdim, ama bu çok da kötü değil.

Ama bu tam resim değil.

Diğer kaynaklardan erişim verilerini kontrol ettiğimde ve topladığımda, sitemdeki gerçek ziyaret sayısı günlük 11.500 civarında.

Gördüğünüz gibi, sitemde çoğu analiz aracının bildirdiğinden çok daha fazlası oluyor.

Bu verilere bakmanın daha iyi bir yolu yüzdelerdir.

İşte ortalama günlük site trafiğimin yüzde dökümü.

Her gün siteme yapılan tüm ziyaretlerin yalnızca %32'si gerçek ziyaretçi trafiğidir.

Ancak bu sayı ortalama gibi görünüyor.

Help Net Security, 2021'de otomatik trafiğin internet trafiğinin %64'ünü oluşturduğunu bildirdi.

Her site bot trafiği tarafından vurulur, bu yüzden bu hayatın bir gerçeğidir.

Ancak yine de site trafiğinizi zaman zaman kontrol etmekte fayda var.

Siteniz için spam ve kötü bot trafiği verilerine nasıl erişilir?

Daha önce de belirttiğim gibi, çoğunlukla ücretsiz araçlar kullanıyorum.

Bunlar spam ve kötü bot trafiğine karşı savunma hatlarımı oluşturur.

1. Bulut parlaması

Cloudflare'in yalnızca sitenizin daha hızlı yüklenmesini sağlayan bir CDN olduğunu düşünebilirsiniz.

Ancak bu, ücretsiz bir hesabın yalnızca bir yan avantajıdır. Cloudflare kullanmanın gerçek avantajı güvenliktir.

Web uygulama güvenlik duvarı (WAF) benim ilk savunma hattım.

Gizlilik nedeniyle IP adreslerini gizledim. Ancak bu bir gün için verilen toplam blok ve meydan okuma sayısının 1.728 olduğunu görebilirsiniz.

WAF ile kendi güvenlik duvarı kurallarınızı belirleyebilir veya IP adreslerini veya ASN'leri engellemek veya bunlara meydan okumak için araçları kullanabilirsiniz.

Sitenizdeki istenmeyen trafiği yönetmek için açık ara en iyi araçtır.

2. Wordfence

İkinci savunma hattım, sitemdeki Wordfence eklentisidir.

Cloudflare'ı geçebilecek kötü amaçlı trafiği engeller.

Blok sayısı günden güne değişir. Ancak ortalama olarak, her gün 250-450 denemeyi engeller.

3. Sunucu koruması

Son savunma hattı, ISP Apache sunucum.

Erişim ve hata günlüklerinden, sunucunun engellediği herhangi bir istenmeyen etkinliği tarayabilirim. İzin verilen herhangi bir etkinliğin şüpheli görünüp görünmediğini de kontrol edebilirim.

Ardından, bulduğum herhangi bir şüpheli etkinlikle ilgilenmek için Cloudflare veya Wordfence'ı kullanabilirim.

Spam gönderenleri yakalamak

Spam gönderenler bir tehditten çok bir baş belasıdır.

Ancak bunları yönetmenin nispeten kolay yolları var.

WordPress yorum spam eklentisi

Akismet, blogunuzdaki spam yorumlarla mücadele etmek için oldukça iyi çalışan ücretsiz bir eklentidir.

Doğruluk oranı %99,5 civarında, yani çok iyi çalışıyor.

Sitemde yaklaşık 4.000 meşru yorum var. Ancak Akismet, 75.000'den fazla spam yorumu engelledi!

Çok fazla spam alıyorsanız tek dezavantajı, Akismet tarafından yakalanan spam yorumları silmeye devam etmeniz gerekmesidir.

Yorum spam'ını durdurmak için Cloudflare güvenlik duvarı kuralı

Sitenize ne kadar çok trafik alırsanız, o kadar çok spam yorum alırsınız.

Bu durumda, sitenizden spam yorum gönderenleri engelleyecek basit bir Cloudflare güvenlik duvarı kuralıyla soruna balyoz yaklaşımı uygulayabilirsiniz.

Bu kuralın avantajı, yorum spam'ına karşı oldukça etkili olmasıdır. Tek küçük dezavantajı, gerçek yorumcular için biraz sürtüşme yaratmasıdır.

Yorum göndermeden önce 2-5 saniyelik hızlı bir Cloudflare bildirimi alacaklar : Tarayıcınız kontrol ediliyor.

Çoğu insan buna aşinadır, bu yüzden büyük bir sorun değil.

Ancak spam gönderenler yorum eklemek için normal bir tarayıcı kullanmadıkları için engellenirler.

Bu yöntemi kullanmak için Cloudflare güvenlik duvarınıza aşağıdaki kuralı ekleyin.

Kural adı: Kuralınızı tanımlamak için herhangi bir ad seçebilirsiniz.

Alan: URI Yolu

Operatör: İçerir

Değer: /wp-comments.php

Eylem: JS Mücadelesi

Kuralı etkinleştirdikten sonra, ne kadar iyi çalıştığını kontrol edebilirsiniz.

Yüzdenin üzerine gelirseniz, kaç sorunun çözüldüğünü göreceksiniz.

Çözülen sayı genellikle JS mücadelesini geçen gerçek yorumlar içindir. Bunu sitenizin günlüklerinden kontrol edebilirsiniz.

Burada, moderasyon sıramı geçen ve başarıyla giren gerçek bir yorumun günlüğü var.

Kırmızı dikdörtgen, başarılı Cloudflare kontrolünü vurgular.

Çoğu site için bir kural değildir. Ancak siteniz çok sayıda yorum spam'ı alıyorsa, bu oldukça etkilidir.

Gördüğünüz gibi, zaman içinde 75.000'den fazla spam yorumu silmek zorunda kaldım.

Ancak bu kuralla, artık neredeyse hiç kimse geçemez.

Unutulmaması gereken bir şey, bu kuralla, başarısız olan her spam yorum girişimi için muhtemelen Cloudflare tarafından engellenen 4 isabet göreceksiniz.

Cloudflare spam göndericinin kullandığı komut dosyasının eylemlerini engellediği için bu normaldir.

Ancak, gerçek bir yorum için, kullanıcı JS sınamasını geçtiği için güvenlik duvarınızda bir giriş göreceksiniz.

Bu nedenle, kuralın günde 300-400 denemeyi engellediğini görürseniz paniğe kapılmayın.

Bir istenmeyen posta gönderen kişi manuel olarak gönderirse, ara sıra istenmeyen yorum almaya devam edebilirsiniz. Ama Akismet genellikle yakalar.

Yeterince yorum spam göndericiniz varsa, bu güvenlik duvarı kuralı işi sizin için yapacaktır.

SEO spam e-postaları

Bağlantı sosyal yardım kampanyaları artık spam'den başka bir şey değil.

Geçmiş yıllarda backlink istemek meşru bir uygulama olarak görülüyordu.

Ancak şimdi, Semrush gibi SEO araçları, bu kampanyaları doğrudan e-posta adresinize otomatikleştirmeyi çok kolaylaştırıyor.

Bu e-postaları gelir gelmez silmekten başka yapabileceğiniz bir şey yok.

Benim durumumda, günde 100-200 olabilir, bağlantı istemek, konuk gönderileri veya sponsorlu gönderi yerleşimi.

Benim için bu miktar kesinlikle saf spam'den başka bir şey olmadığını düşündüğüm miktardır.

Sıyırıcılar hakkında ne yapabilirsiniz?

Python ve diğer web kazıma biçimleri giderek daha yaygın hale geliyor.

Bu konuda ne yapılacağını bilmek kolay değil.

Son zamanlarda Linkedin web kazıyıcıları durdurmaya çalıştı, ancak bir ABD mahkemesi kazımanın yasal olduğuna karar verdi.

Sitenize erişen korsanları bulmak nispeten kolaydır. Python-requests veya python/3 gibi kullanıcı aracıları için sunucu erişim günlüklerinizde arama yapabilirsiniz.

Ayrıca geçici bir Cloudflare güvenlik duvarı kuralı ayarlayabilir ve bir javascript sorgulaması düzenleyebilirsiniz. (http.user_agent "python-requests" içerir) veya (http.user_agent "Python/3" içerir)

Ancak izlemekten başka yapabileceğiniz çok az şey var. Bir kazıyıcıya gerçekten meydan okumanız veya engellemeniz gereken tek zaman, sitenize çok sık çarptığı zamandır.

50'den fazla farklı IP adresinden siteme günde 14.000'den fazla isabet eden bir tane vardı.

SEO araştırması veya veri toplama gibi kazımanın meşru nedenleri vardır. Ancak içeriğinizi kopyalayan, çalan ve yeniden yayınlayan içerik hırsızları da vardır.

Ama aradaki farkı söylemek o kadar kolay değil.

Güvenlik açığı tarayıcıları

Bu, bazen iyi ama çoğunlukla kötü olan başka bir bot trafiği biçimidir.

Web güvenliği şirketleri, yama uygulanabilen ve düzeltilebilen yazılım, eklenti ve tema güvenlik açıklarını doğal ve yararlı bir şekilde tarar.

Ancak aynı güvenlik açıklarını web sitelerine erişmek ve kontrol etmek için arayan bilgisayar korsanları da var.

Yine, iyi adamları kötü adamlardan ayırmak kolay değil.

En iyi yaklaşım, çoğu durumda sorunu Cloudflare ve Wordfence'in yönetmesine izin vermektir. Ancak emin olmak için manuel blok eklemem gereken zamanlar oluyor.

İyi botlar ve kötü botlar

Google ve Bing gibi arama motorları, sitenizi kontrol etmek için botları kullanır. Bunlar olmadan, sitenizin dizine eklenme ve sayfalarınızın arama için sıralanma şansı asla olmaz.

Sitenizin ve blog yayınlarınızın Google ve Bing'de sıralanmasını istiyorsunuz, yani evet, bunlar gerçekten iyi botlar.

Diğer iyi botlar, trafiğinizi analiz etmenize yardımcı olur. Bunlar, diğerleri arasında Ahrefs, Semrush ve Ubersuggest'i içerebilir.

Ama evet, bilgisayar korsanları ve spam gönderenler gibi sizin çıkarlarınızı düşünmeyen kötü botlar da var.

Farkı nasıl söyleyeceğinizi öğrenmek her zaman kolay değildir. Ancak aşırı derecede engelleyici botlar genellikle size yarardan çok zarar verir.

Yine, yapabileceğiniz tek şey izlemek, kontrol etmek ve ardından hangilerini engelleyeceğiniz veya meydan okuyacağınız konusunda seçici olmaktır.

Kontrol etmeme yardımcı olması için birkaç ücretsiz çevrimiçi araç kullanıyorum.

Biri AbuseIPDB'dir. Kötü amaçlı olarak rapor edilip edilmediğini görmek için herhangi bir IP adresini kontrol edebilirsiniz.

Bir diğeri ise Scamalytics. Bu uygulama ile bir IP adresinin dolandırıcılık puanını kontrol edebilirsiniz.

Çözüm

Web sitenizdeki veya blogunuzdaki spam ve kötü bot trafiğini durdurmanın hiçbir yolu yoktur.

Tek yapabileceğiniz onu izlemek ve ardından elinizden geldiğince yönetmeye çalışmak.

Ancak site trafiğinizin yaklaşık %65'inin otomatik botlardan oluştuğunu keşfederseniz şaşırmayın.

Imperva'nın son raporu, kötü bot etkinliğinin her yıl arttığını doğruluyor.

Site sahiplerinin yapabileceği ve yapması gereken tek şey, tehditleri olabildiğince etkili bir şekilde yönetmeyi öğrenmektir.

İlgili okuma: Cloudflare Cache Everything WordPress TTFB'yi %90 İyileştiriyor