Robots.txt

Los robots son programas automatizados, y las arañas son un tipo de robots que se desplazan continuamente por la red, saltando de un lugar a otro con el fin de compilar estadísticas sobre el Web o crear bases de datos con el contenido del mismo (Altavista, Lycos, WebCrawler los utilizan). Las arañas hacen un valioso trabajo para todos; sin ellas sería imposible crear índices actualizados de la red. Pero también tiene sus desventajas: aumentan el tráfico en la red, además de que una araña mal diseñada puede visitar tantas veces a un sitio que impide el acceso a los usuarios. Tampoco pueden discernir sobre páginas permanentes y temporales, a menos que los sitios que visiten sean concientes de los robots.

Para traspasar las instrucciones deseadas a una araña, sólo debe crearse un archivo de texto denominado "robots.txt". Este archivo de texto contendrá comandos de un sencillo lenguaje indicando las políticas de acceso de un sitio a estos extraños seres del cyberespacio.

Resultado del análisis:

Sugerencias: