¿Qué es robots.txt?

Fichero de texto sin formato que se emplea para dar indicaciones a los rastreadores o arañas de Google y demás motores de búsqueda, e informarles de qué áreas de una página web se quiere que sean rastreadas e indexadas y cuáles no.

Este archivo se sube a la página web para evitar la aparición de determinadas partes en los resultados de búsqueda, para impedir la indexación de contenidos duplicados, o para indicarle a Google cuál es el sitemap o mapa web, incluyendo su URL en el archivo.

 
Descárgate nuestros
informes de tendencias
Marketing trends UX trends

Otros términos relacionados
de internet

P

R

S

T

U

V

W

X

Y