O arquivo robots.txt é configurado em um site para estabelecer o protocolo que os bots que analisam um site devem seguir. Por exemplo, a partir do arquivo robots.txt é possível evitar que o robô um mecanismo de pesquisa indexe uma parte de um site, ou que analise material sensível ou que se deseje manter oculto.

Outra função dos arquivos robots.txt é estabelecer quais robôs podem verificar o site, já que a verificação de fontes não confiáveis ​​pode causar problemas e consumir recursos em seu site.

Recomendamos a criação do arquivo robots.txt, informando que ele só pode ser verificado pelo Google, Yahoo e MSN. Para isso, você deve simplesmente criar um arquivo chamado robots.txt na raiz do site, que contém as seguintes linhas:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Slurp
Allow: /
User-Agent: msnbot
Disallow: