Robots.txt
Robots.txt es un archivo que comunica a rastreadores compatibles qué rutas pueden o no pueden rastrear
Qué significa, cómo se usa y en qué contexto aparece, con sus conceptos relacionados.
Qué es y cómo funciona
Se publica en la raíz del sitio y no funciona como mecanismo de protección de información. Bloquear una URL en este archivo no garantiza su desindexación. Para aplicar una directiva noindex, el rastreador normalmente necesita poder acceder al contenido que la contiene.