El archivo robots.txt se configura en un sitio para establecer el protocolo que deben seguir los bots que escanean un sitio web. Por ejemplo, desde el archivo robots.txt se puede evitar que el robot un motor de búsqueda indexe una parte de un sitio, o que analice material sensible o que se desea mantener oculto.

Otra función de los archivos robots.txt es establecer qué robots pueden escanear el sitio, ya que el escaneo de fuentes no confiables puede ocasionar problemas y consumo de recursos en su sitio.

Recomendamos crear el archivo robots.txt, estableciendo que unicamente pueda ser escaneado por Google, Yahoo y MSN. Para esto, simplemente debe crear un archivo que se llame robots.txt en el root del sitio, que contenga las siguientes lineas:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Slurp
Allow: /
User-Agent: msnbot
Disallow: