Googlebot
Googlebot es el nombre utilizado para rastreadores de Google que solicitan recursos de la web para sus sistemas de búsqueda. El acceso técnico permite descubrir contenido, pero no garantiza su indexación
Qué significa, cómo se usa y en qué contexto aparece, con sus conceptos relacionados.
Qué es y cómo funciona
Robots.txt comunica reglas de rastreo y no funciona como orden general de retirada del índice. Para aplicar noindex, el rastreador necesita poder descubrir esa directiva. Las respuestas del servidor, los enlaces y la disponibilidad del contenido deben ser coherentes con lo que el sitio quiere hacer accesible.
También se dice
robot de Google, araña de Google
Temas