Spam Dan Lalu Lintas Bot Buruk Selalu Memukul Situs Web Anda

Setiap hari saya sepertinya menghabiskan lebih banyak waktu untuk memantau dan memblokir spam dan lalu lintas bot yang buruk.

Tidak masalah apakah blog atau situs web Anda besar atau kecil; bot memukulnya sepanjang waktu.

Ketika saya memeriksa beberapa situs saya yang lebih kecil yang menerima sangat sedikit pengunjung per hari, selalu ada aliran lalu lintas bot otomatis yang stabil.

Tetapi untuk memberi Anda gambaran tentang berapa banyak lalu lintas web yang diotomatisasi, berbahaya, atau spam, saya telah menyelesaikan audit penuh atas Just Publishing Advice. Inilah hasilnya.

Memantau spam dan lalu lintas bot yang buruk

Anda mungkin memeriksa nomor lalu lintas Anda dengan Google Analytics (GA).

Ini adalah salah satu alat gratis terbaik untuk mengetahui seberapa baik kinerja blog atau situs web Anda.

Tidak ada yang lebih baik daripada melihat peningkatan yang stabil dalam jumlah pengguna dan tampilan halaman.

Tetapi yang tidak memberitahu Anda adalah berapa banyak kunjungan otomatis, mencurigakan, atau berbahaya yang diterima situs Anda.

Jika Anda ingin menemukan lalu lintas yang diabaikan atau dilewatkan oleh GA, Anda perlu menggali lebih dalam dengan sumber data lain.

Saya menggunakan beberapa alat untuk memantau dan melindungi situs saya dari aktor jahat. Untungnya, kebanyakan dari mereka gratis.

Satu-satunya layanan berbayar yang saya gunakan adalah Statcounter, yang harganya hanya $9,00 per bulan.

Itu mengumpulkan data yang mirip dengan GA, tetapi keuntungan besar adalah melaporkan alamat IP dan aktivitas tautan keluar.

Karena itu, saya dapat memantau dan mengelola scraper, hit bot otomatis, dan memeriksa klik iklan Adsense yang tidak valid.

Sekarang ke data untuk menunjukkan kepada Anda apa yang saya temukan.

Aktivitas lalu lintas spam dan bot yang buruk secara mendetail

Rata-rata, situs saya menerima sekitar 3.500 kunjungan pengguna nyata per hari.

Saya selalu ingin memiliki lebih banyak, tetapi itu tidak terlalu buruk.

Tapi ini bukan gambaran lengkapnya.

Ketika saya memeriksa dan mengumpulkan data akses dari sumber lain, jumlah klik sebenarnya di situs saya adalah sekitar 11.500 per hari.

Seperti yang Anda lihat, ada lebih banyak hal yang terjadi di situs saya daripada kebanyakan laporan alat analitik.

Cara yang lebih baik untuk melihat data ini adalah dalam persentase.

Berikut rincian persentase lalu lintas situs harian rata-rata saya.

Dari semua kunjungan ke situs saya setiap hari, hanya 32% yang merupakan lalu lintas pengunjung nyata.

Namun, angka ini tampaknya rata-rata.

Help Net Security melaporkan pada tahun 2021 lalu lintas otomatis mencapai 64% dari lalu lintas internet.

Setiap situs terkena lalu lintas bot, jadi itu adalah fakta kehidupan.

Namun tetap bermanfaat untuk memeriksa lalu lintas situs Anda dari waktu ke waktu.

Cara mengakses data lalu lintas spam dan bot yang buruk untuk situs Anda

Seperti yang saya sebutkan sebelumnya, saya menggunakan sebagian besar alat gratis.

Ini membentuk garis pertahanan saya terhadap spam dan lalu lintas bot yang buruk.

1. Cloudflare

Anda mungkin berpikir bahwa Cloudflare hanyalah sebuah CDN untuk membuat situs Anda memuat lebih cepat.

Tapi itu hanya keuntungan sampingan dari akun gratis. Keuntungan nyata menggunakan Cloudflare adalah keamanan.

Firewall aplikasi webnya (WAF) adalah garis pertahanan pertama saya.

Saya telah menutupi alamat IP karena privasi. Tapi Anda bisa melihat jumlah blok dan tantangan yang dikeluarkan untuk satu hari ini adalah 1.728.

Dengan WAF, Anda dapat menetapkan aturan firewall Anda sendiri atau menggunakan alat untuk memblokir atau menantang alamat IP atau ASN.

Sejauh ini, ini adalah alat terbaik untuk mengelola lalu lintas yang tidak diinginkan di situs Anda.

2. Kata-kata

Garis pertahanan kedua saya adalah plugin Wordfence di situs saya.

Itu memblokir semua lalu lintas berbahaya yang mungkin melewati Cloudflare.

Jumlah blok bervariasi dari hari ke hari. Tapi rata-rata, itu memblokir antara 250-450 upaya setiap hari.

3. Perlindungan server

Garis pertahanan terakhir adalah server ISP Apache saya.

Dari log akses dan kesalahan, saya dapat memindai aktivitas yang tidak diinginkan yang telah diblokir oleh server. Saya juga dapat memeriksa apakah aktivitas yang diizinkan terlihat mencurigakan.

Kemudian saya dapat menggunakan Cloudflare atau Wordfence untuk memantau aktivitas mencurigakan yang saya temukan.

Menangkap spammer

Spammer lebih merupakan gangguan daripada ancaman.

Tetapi ada cara yang relatif mudah untuk mengelolanya.

Plugin spam komentar WordPress

Akismet adalah plugin gratis yang bekerja cukup baik untuk memerangi spam komentar di blog Anda.

Tingkat akurasinya sekitar 99,5%, sehingga bekerja dengan sangat baik.

Ada sekitar 4.000 komentar yang sah di situs saya. Tapi Akismet telah memblokir lebih dari 75.000 komentar spam!

Jika Anda mendapatkan banyak spam, satu-satunya kelemahan adalah Anda harus terus menghapus komentar spam yang ditangkap oleh Akismet.

Aturan firewall Cloudflare untuk menghentikan spam komentar

Semakin banyak lalu lintas yang Anda dapatkan ke situs Anda, semakin banyak komentar spam yang akan Anda dapatkan.

Dalam hal ini, Anda dapat mengambil pendekatan palu godam untuk masalah tersebut dengan aturan firewall Cloudflare sederhana yang akan memblokir spammer komentar dari situs Anda.

Keuntungan dari aturan ini adalah sangat efektif melawan spam komentar. Satu-satunya kelemahan kecil adalah menambahkan sedikit gesekan untuk komentator asli.

Mereka akan menerima pemberitahuan Cloudflare 2-5 detik yang mengatakan, Memeriksa browser Anda , sebelum mereka dapat memposting komentar.

Kebanyakan orang akrab dengan ini, jadi itu bukan masalah besar.

Tetapi karena spammer tidak menggunakan browser biasa untuk menyuntikkan komentar, mereka akan diblokir.

Untuk menggunakan metode ini, tambahkan aturan berikut ke firewall Cloudflare Anda.

Nama aturan: Anda dapat memilih nama apa pun untuk mengidentifikasi aturan Anda.

Bidang: Jalur URI

Operator: Berisi

Nilai: /wp-comments.php

Tindakan: Tantangan JS

Setelah Anda mengaktifkan aturan, Anda dapat memeriksa seberapa baik kerjanya.

Jika Anda mengarahkan kursor ke persentase, Anda akan melihat berapa banyak tantangan yang diselesaikan.

Angka yang dipecahkan biasanya untuk komentar asli yang lolos dari tantangan JS. Anda dapat memeriksa ini di log situs Anda.

Ini log komentar asli yang lolos dan berhasil masuk ke antrian moderasi saya.

Persegi panjang merah menyoroti pemeriksaan Cloudflare yang berhasil.

Itu bukan aturan untuk sebagian besar situs. Tetapi jika situs Anda terkena banyak spam komentar, itu sangat efektif.

Seperti yang Anda lihat, saya harus menghapus lebih dari 75.000 komentar spam dari waktu ke waktu.

Tapi dengan aturan ini, hampir tidak ada yang lolos sekarang.

Satu hal yang perlu diperhatikan adalah bahwa dengan aturan ini, Anda mungkin akan melihat 4 hit diblokir oleh Cloudflare untuk setiap percobaan komentar spam yang gagal.

Ini normal karena Cloudflare memblokir tindakan skrip yang digunakan spammer.

Namun, untuk komentar asli, Anda akan melihat satu entri di firewall Anda karena pengguna telah melewati tantangan JS.

Jadi jangan panik jika Anda melihat aturan memblokir 300-400 percobaan per hari.

Anda mungkin masih mendapatkan komentar spam sesekali jika spammer memposting secara manual. Tapi Akismet biasanya akan menangkapnya.

Jika Anda sudah muak dengan spammer komentar, aturan firewall ini akan melakukan pekerjaan untuk Anda.

Email spam SEO

Tautkan kampanye penjangkauan sekarang tidak lebih dari spam.

Itu dianggap sebagai praktik yang sah untuk meminta backlink di tahun-tahun sebelumnya.

Tapi sekarang, alat SEO seperti Semrush memudahkan untuk mengotomatiskan kampanye ini langsung ke alamat email Anda.

Tidak ada yang dapat Anda lakukan selain menghapus email ini saat tiba.

Dalam kasus saya, bisa 100-200 per hari, meminta tautan, posting tamu, atau penempatan posting bersponsor.

Bagi saya, jumlah itu pasti yang saya anggap tidak lebih dari spam murni.

Apa yang dapat Anda lakukan tentang scraper?

Python dan bentuk pengikisan web lainnya menjadi semakin umum.

Tidak mudah untuk mengetahui apa yang harus dilakukan.

Baru-baru ini, Linkedin mencoba menghentikan pengikis web, tetapi pengadilan AS memutuskan bahwa pengikisan itu legal.

Relatif mudah menemukan scaper yang mengakses situs Anda. Anda dapat mencari log akses server Anda untuk agen pengguna seperti python-requests atau python/3.

Anda juga dapat menyiapkan aturan firewall Cloudflare sementara dan mengeluarkan tantangan javascript. (http.user_agent berisi “permintaan-python”) atau (http.user_agent berisi “Python/3”)

Tapi ada sedikit yang bisa Anda lakukan selain memantaunya. Satu-satunya saat Anda benar-benar perlu menantang atau memblokir pengikis adalah ketika pengikis terlalu sering mengenai situs Anda.

Saya punya satu yang masuk ke situs saya lebih dari 14.000 kali per hari dari lebih dari 50 alamat IP yang berbeda.

Ada alasan yang sah untuk scraping, seperti riset SEO atau pengumpulan data. Namun ada juga pembuat konten yang menyalin, mencuri, dan menerbitkan ulang konten Anda.

Tapi tidak semudah itu membedakannya.

Pemindai kerentanan

Ini adalah bentuk lain dari lalu lintas bot yang terkadang bagus tapi kebanyakan buruk.

Perusahaan keamanan web secara alami dan membantu memindai kerentanan perangkat lunak, plugin, dan tema yang dapat ditambal dan diperbaiki.

Namun kemudian ada peretas yang mencari kerentanan yang sama untuk mengakses dan mengontrol situs web.

Sekali lagi, tidak mudah membedakan orang baik dari orang jahat.

Pendekatan terbaik adalah membiarkan Cloudflare dan Wordfence mengelola masalah dalam banyak kasus. Tapi ada kalanya saya harus menambahkan blok manual hanya untuk memastikan.

Bot baik dan bot jahat

Mesin pencari seperti Google dan Bing menggunakan bot untuk memeriksa situs Anda. Tanpa ini, situs Anda tidak akan pernah memiliki peluang untuk diindeks dan peringkat halaman Anda untuk pencarian.

Anda ingin peringkat situs dan blog Anda di Google dan Bing, jadi ya, ini adalah bot yang sangat bagus.

Bot bagus lainnya membantu Anda menganalisis lalu lintas Anda. Ini mungkin termasuk Ahrefs, Semrush, dan Ubersuggest, antara lain.

Tapi ya, ada juga bot jahat seperti peretas dan spammer yang tidak memikirkan kepentingan terbaik Anda.

Mempelajari cara membedakannya tidak selalu mudah. Tetapi memblokir bot secara berlebihan sering kali lebih merugikan Anda daripada kebaikan.

Sekali lagi, yang dapat Anda lakukan hanyalah memantau, memeriksa, dan kemudian selektif tentang mana yang Anda blokir atau tantang.

Saya menggunakan beberapa alat online gratis untuk membantu saya memeriksa.

Salah satunya adalah PenyalahgunaanIPDB. Anda dapat memeriksa alamat IP mana saja untuk melihat apakah telah dilaporkan sebagai penyalahgunaan.

Lain adalah Scamalytics. Dengan aplikasi ini, Anda dapat memeriksa skor penipuan alamat IP.

Kesimpulan

Tidak mungkin Anda dapat menghentikan spam dan lalu lintas bot buruk di situs web atau blog Anda.

Yang bisa Anda lakukan hanyalah memantaunya dan kemudian mencoba mengelolanya sebaik mungkin.

Namun jangan heran jika Anda menemukan bahwa sekitar 65% lalu lintas situs Anda adalah bot otomatis.

Laporan terbaru dari Imperva menegaskan bahwa aktivitas bot buruk meningkat setiap tahun.

Yang dapat dilakukan oleh semua pemilik situs, dan harus dilakukan, adalah mempelajari cara mengelola ancaman seefektif mungkin.

Bacaan terkait: Cloudflare Cache Semuanya Meningkatkan WordPress TTFB Sebesar 90%