Robots.txt
Archivo de texto que contiene una serie de estándares web que regulan el comportamiento de los robots en la indexación de los motores de búsqueda.
Archivo de texto que contiene una serie de estándares web que regulan el comportamiento de los robots en la indexación de los motores de búsqueda.