Joomla - ¿Para que sirve el archivo robots.txt?

[Manuel Sierra]

Hola Amigos:

Quisiera saber para que sirve el archivo robots.txt de la instalación de joomla, ya que he sentido que debe ser importante, pero no se muy bien para que lo utiliza y como.

Un saludo y gracias.

[kansadostoy]

Hola:

Primeramente bienvenido Manuel, he visto que eres un nuevo usuario del foro. Y segundo quisiera explicarte un poco la utilidad del fichero robots.txt.

Este fichero es importante para las indexaciones por parte de los buscadores ya que básicamente restringe el acceso que tienen los robots de cada buscador a determinadas carpetas de nuestra web.

Un ejemplo de fichero sería el siguiente:

*****************************************************
User-agent: Googlebot*
 Disallow: /administrator/
 Disallow: /cache/
 Disallow: /components/
 Disallow: /editor/
 Disallow: /includes/
 Disallow: /language/
 Disallow: /mambots/
 Disallow: /media/
 Disallow: /modules/
 Disallow: /templates/
 Disallow: /installation/



 User-agent: Scooter
 Disallow: /administrator/
 Disallow: /cache/
 Disallow: /components/
 Disallow: /editor/
 Disallow: /includes/
 Disallow: /language/
 Disallow: /mambots/
 Disallow: /media/
 Disallow: /modules/
 Disallow: /templates/
 Disallow: /installation/

 User-agent: *
 Disallow : /
**********************************************************

Como puedes ver es una lista de User-agent para cada buscador y donde se permite o no la indexación a determinada carpeta. Así para el primero que es uno de los robots de google no permite por ejemplo la indexación a la carpeta administrator entre otros.

Para el resto esta el último User-agent:* esto no permite que otros robots que no sean los indicados indexen páginas de la web joomla, ya que tiene la opción Disallow: /

Espero te sirva un poco para entender el funcionamiento.