robots.txt En este archivo nos damos cuenta de las cosas que están habilitadas o deshabitadas en un servidor WEB, muchos de los servidores lo tienen habilitado. la palabra robots viene de los motores de búsqueda (google, yahoo, bing, etc ) indexan las paginas con alguna aplicación a la cual se le llama robots por que lo hacen de forma automatica. El archivo robots.txt se ha de subir a la raíz del alojamiento para indicar a los robots qué paginas o directorios no nos interesa indexar. Sólo tiene que haber un archivo robots.txt en cada sitio web. La configuración de este archivo es importante, ya que nos aporta unos beneficios de varios tipos, por ejemplo: Ayuda a hacer una indexación más fluida del contenido importante de la web, con lo que mejora el posicionamiento en Internet. Además puede agilizar el rastreo de los robots, mejorando el uso de la web. Impide el acceso a determinados robots, ya que algunos de ellos sólo proporcionan problemas en la web ...
Comentarios