Rastreador web
Un rastreador web es un programa que recorre recursos de internet para descubrir y procesar información
Qué significa, cómo se usa y en qué contexto aparece, con sus conceptos relacionados.
Qué es y cómo funciona
Puede seguir enlaces y utilizar otras fuentes de descubrimiento, como sitemaps. Cada servicio tiene sus reglas de acceso y procesamiento. Para que un sitio resulte accesible a rastreadores autorizados conviene revisar respuestas, enlaces, directivas y disponibilidad del contenido.
También se dice
Web crawler