Problema a la hora de hacer crawl al sitio (Googlebot) | Community
Skip to main content

Problema a la hora de hacer crawl al sitio (Googlebot)

  • July 7, 2021
  • 1 reply
  • 0 views

Googlebot me detecta como error 403 las páginas de ayuda.xxxxxx/hc/es de los centros del sitio web que gestiono.

Me he cambiado el user-agent para comprobar el fall en cuestión y ocurre porque aparece un captcha que no deja a ningún crawler rastrear el sitio.

Paso captura cambiando el user-agent a Google bot (ocurre con cualquier crawler):

 

1 reply

Pedro17
  • August 5, 2021

Hola @Roger Raventós, si aún no ha logrado resolver este inconveniente, de acuerdo con este artículo le sugiero crear un ticket para Zendesk Support.

Sobre el CAPTCHA:

Zendesk utiliza la función Administración de bots de Cloudflare. Se les pide a los solicitantes que hagan una prueba CAPTCHA en los casos en los que la solicitud cumple determinados criterios. Por ejemplo, si establece un umbral de puntuación para los bots, la función iniciará una prueba CAPTCHA cada vez que el tráfico alcance el valor del umbral de puntuación del bot (consulte ¿Cuál es la diferencia entre la puntuación de amenazas y la puntuación de gestión de bots?).

Una puntuación de bot es un valor que oscila entre 1 (un bot) y 99 (un ser humano). La página de CAPTCHA muestra un código de estado 403 si esto se gatilla.