El spam y el tráfico de bots dañinos siempre llegan a su sitio web

Todos los días paso más y más tiempo monitoreando y bloqueando el spam y el tráfico de bots dañinos.

No importa si tu blog o sitio web es grande o pequeño; los bots lo atacan todo el tiempo.

Cuando reviso un par de mis sitios más pequeños que reciben muy pocos visitantes por día, siempre hay un flujo constante de tráfico automatizado de bots.

Pero para darle una idea de cuánto tráfico web es automatizado, malicioso o spam, realicé una auditoría completa de Just Publishing Advice. Aquí están los resultados.

Monitoreo de spam y tráfico de bots dañinos

Probablemente verifique sus números de tráfico con Google Analytics (GA).

Es una de las mejores herramientas gratuitas para tener una idea del rendimiento de su blog o sitio web.

No hay nada mejor que ver un aumento constante en la cantidad de usuarios y páginas vistas.

Pero lo que no te dice es cuántas visitas automatizadas, sospechosas o maliciosas recibe tu sitio.

Si desea descubrir el tráfico que GA ignora o pasa por alto, debe profundizar en otras fuentes de datos.

Utilizo un puñado de herramientas para monitorear y proteger mi sitio de los malos actores. Afortunadamente, la mayoría de ellos son gratuitos.

El único servicio pago que uso es Statcounter, que solo me cuesta $9.00 por mes.

Recopila datos similares a GA, pero la gran ventaja es que informa las direcciones IP y la actividad de los enlaces salientes.

Debido a esto, puedo monitorear y administrar scrapers, hits automatizados de bots y verificar si hay clics de anuncios de Adsense no válidos.

Ahora vamos a los datos para mostrarte lo que descubrí.

Actividad de tráfico de bots no deseados y spam en detalle

En promedio, mi sitio recibe alrededor de 3500 visitas de usuarios reales por día.

Siempre me gustaría tener más, pero no es tan malo.

Pero esta no es la imagen completa.

Cuando reviso y recopilo datos de acceso de otras fuentes, el número real de visitas a mi sitio es de alrededor de 11.500 por día.

Como puede ver, suceden muchas más cosas en mi sitio de lo que informan la mayoría de las herramientas de análisis.

Una mejor manera de ver estos datos es en porcentajes.

Aquí hay un desglose porcentual del tráfico diario promedio de mi sitio.

De todas las visitas a mi sitio cada día, solo el 32% es tráfico real de visitantes.

Sin embargo, este número parece estar en el promedio.

Help Net Security informó en 2021 que el tráfico automatizado representa el 64% del tráfico de Internet.

Todos los sitios se ven afectados por el tráfico de bots, por lo que es un hecho de la vida.

Pero aún así vale la pena revisar el tráfico de su sitio de vez en cuando.

Cómo acceder a datos de spam y tráfico de bots dañinos para su sitio

Como mencioné antes, utilizo principalmente herramientas gratuitas.

Estos forman mis líneas de defensa contra el spam y el mal tráfico de bots.

1. Llamarada en la nube

Puede pensar que Cloudflare es solo un CDN para hacer que su sitio se cargue más rápido.

Pero eso es solo un beneficio secundario de una cuenta gratuita. La verdadera ventaja de usar Cloudflare es la seguridad.

Su firewall de aplicaciones web (WAF) es mi primera línea de defensa.

He enmascarado las direcciones IP debido a la privacidad. Pero puede ver que el número total de bloques y desafíos emitidos para este día es 1,728.

Con WAF, puede establecer sus propias reglas de firewall o usar las herramientas para bloquear o cuestionar direcciones IP o ASN.

Es, con mucho, la mejor herramienta para administrar el tráfico no deseado en su sitio.

2. Cerca de palabras

Mi segunda línea de defensa es el complemento de Wordfence en mi sitio.

Bloquea cualquier tráfico malicioso que pueda pasar por Cloudflare.

El número de bloques varía de un día a otro. Pero, en promedio, bloquea entre 250 y 450 intentos por día.

3. Protección del servidor

La última línea de defensa es mi servidor ISP Apache.

Desde los registros de acceso y error, puedo buscar cualquier actividad adversa que el servidor haya bloqueado. También puedo verificar si alguna actividad permitida parece sospechosa.

Luego puedo usar Cloudflare o Wordfence para buscar cualquier actividad sospechosa que encuentre.

Captura de spammers

Los spammers son más una molestia que una amenaza.

Pero hay formas relativamente fáciles de manejarlos.

Complemento de spam de comentarios de WordPress

Akismet es un complemento gratuito que funciona bastante bien para combatir el spam en los comentarios de tu blog.

La tasa de precisión es de alrededor del 99,5%, por lo que funciona muy bien.

Hay alrededor de 4.000 comentarios legítimos en mi sitio. ¡Pero Akismet ha bloqueado más de 75 000 comentarios de spam!

Si recibe mucho spam, el único inconveniente es que debe seguir eliminando los comentarios de spam capturados por Akismet.

Regla de firewall de Cloudflare para detener el spam de comentarios

Cuanto más tráfico reciba su sitio, más comentarios de spam obtendrá.

En este caso, puede abordar el problema con un mazo con una simple regla de firewall de Cloudflare que bloqueará a los spammers de comentarios de su sitio.

La ventaja de esta regla es que es muy eficaz contra el spam de comentarios. El único inconveniente leve es que agrega un poco de fricción para los comentaristas genuinos.

Recibirán un aviso rápido de Cloudflare de 2 a 5 segundos que dice Verificando su navegador antes de que puedan publicar un comentario.

La mayoría de la gente está familiarizada con esto, por lo que no es un gran problema.

Pero debido a que los spammers no usan un navegador normal para inyectar comentarios, serán bloqueados.

Para usar este método, agrega la siguiente regla a tu firewall de Cloudflare.

Nombre de la regla: puede elegir cualquier nombre para identificar su regla.

Campo: Ruta URI

Operador: Contiene

Valor: /wp-comentarios.php

Acción: Desafío JS

Después de activar la regla, puede verificar qué tan bien está funcionando.

Si pasa el cursor sobre el porcentaje, verá cuántos desafíos se resolvieron.

El número resuelto suele ser para comentarios genuinos que pasaron el desafío JS. Puede verificar esto en los registros de su sitio.

Aquí está el registro de un comentario genuino que pasó y entró con éxito en mi cola de moderación.

El rectángulo rojo resalta la verificación exitosa de Cloudflare.

No es una regla para la mayoría de los sitios. Pero si su sitio recibe muchos comentarios no deseados, es muy efectivo.

Como puede ver, he tenido que eliminar más de 75 000 comentarios de spam a lo largo del tiempo.

Pero con esta regla, casi ninguno pasa ahora.

Lo único que debe tener en cuenta es que con esta regla, probablemente verá 4 resultados bloqueados por Cloudflare por cada intento fallido de comentario de spam.

Esto es normal porque Cloudflare está bloqueando las acciones del script que está usando el spammer.

Sin embargo, para un comentario genuino, verá una entrada en su firewall porque el usuario ha superado el desafío JS.

Así que no se asuste si ve que la regla bloquea entre 300 y 400 intentos por día.

Es posible que aún reciba comentarios de spam ocasionales si un spammer publica manualmente. Pero Akismet generalmente lo atrapará.

Si está harto de comentar spammers, esta regla de firewall hará el trabajo por usted.

Correos electrónicos no deseados de SEO

Las campañas de divulgación de enlaces ahora no son más que spam.

En años pasados, se consideraba una práctica legítima solicitar backlinks.

Pero ahora, las herramientas de SEO como Semrush facilitan la automatización de estas campañas directamente en su dirección de correo electrónico.

No hay nada que puedas hacer más que eliminar estos correos electrónicos a medida que llegan.

En mi caso, puede ser de 100 a 200 por día, solicitando enlaces, publicaciones de invitados o colocación de publicaciones patrocinadas.

Para mí, esa cantidad es definitivamente lo que considero nada más que puro spam.

¿Qué puedes hacer con los raspadores?

Python y otras formas de web scraping son cada vez más comunes.

No es fácil saber qué hacer al respecto.

Recientemente, Linkedin intentó detener los raspadores web, pero un tribunal de EE. UU. dictaminó que el raspado era legal.

Es relativamente fácil encontrar escapedores que acceden a su sitio. Puede buscar en los registros de acceso al servidor los agentes de usuario como python-requests o python/3.

También puede configurar una regla de firewall de Cloudflare temporal y emitir un desafío de javascript. (http.user_agent contiene "python-requests") o (http.user_agent contiene "Python/3")

Pero hay poco que puedas hacer aparte de monitorearlo. La única vez que realmente necesita desafiar o bloquear un raspador es cuando llega a su sitio con demasiada frecuencia.

Tenía uno que visitaba mi sitio más de 14 000 veces al día desde más de 50 direcciones IP diferentes.

Hay razones legítimas para raspar, como la investigación de SEO o la recopilación de datos. Pero también hay escapistas de contenido que copian, roban y vuelven a publicar su contenido.

Pero no es tan fácil notar la diferencia.

Escáneres de vulnerabilidad

Esta es otra forma de tráfico de bots que a veces es bueno pero en su mayoría malo.

Las empresas de seguridad web escanean de forma natural y útil en busca de vulnerabilidades de software, complementos y temas que se puedan parchear y reparar.

Pero luego están los piratas informáticos que buscan las mismas vulnerabilidades para acceder y controlar los sitios web.

Una vez más, no es fácil distinguir a los buenos de los malos.

El mejor enfoque es dejar que Cloudflare y Wordfence manejen el problema en la mayoría de los casos. Pero hay veces que tengo que agregar un bloque manual solo para estar seguro.

Buenos bots y malos bots

Los motores de búsqueda como Google y Bing usan bots para revisar su sitio. Sin estos, su sitio nunca tendría la posibilidad de ser indexado y sus páginas clasificadas para la búsqueda.

Desea que su sitio y las publicaciones de su blog se clasifiquen en Google y Bing, así que sí, estos son realmente buenos bots.

Otros buenos bots te ayudan a analizar tu tráfico. Estos pueden incluir Ahrefs, Semrush y Ubersuggest, entre otros.

Pero sí, también hay bots malos como piratas informáticos y spammers que no tienen en mente tus mejores intereses.

Aprender a notar la diferencia no siempre es fácil. Pero el bloqueo excesivo de bots a menudo le hará más daño que bien.

Nuevamente, todo lo que puede hacer es monitorear, verificar y luego ser selectivo sobre cuáles bloquear o desafiar.

Utilizo un par de herramientas gratuitas en línea para ayudarme a verificar.

Uno es AbusoIPDB. Puede verificar cualquier dirección IP para ver si ha sido reportada como abusiva.

Otro es Scamalytics. Con esta aplicación, puede verificar la puntuación de fraude de una dirección IP.

Conclusión

No hay forma de detener el spam y el tráfico de bots dañinos en su sitio web o blog.

Todo lo que puede hacer es monitorearlo y luego tratar de manejarlo lo mejor que pueda.

Pero no se sorprenda si descubre que alrededor del 65% del tráfico de su sitio son bots automatizados.

El último informe de Imperva confirma que la actividad de los bots maliciosos aumenta cada año.

Todo lo que los propietarios de sitios pueden hacer, y deben hacer, es aprender a gestionar las amenazas de la forma más eficaz posible.

Lectura relacionada: Cloudflare Cache Everything mejora el TTFB de WordPress en un 90 %