Son procesos de software conocidos como robots, empleados por los motores de búsqueda para indexar páginas web de sitios registrados de forma regular. Siguen los enlaces entre páginas y registran la URL de referencia de una página para análisis futuros.