Como o robots.txt funciona
O robots.txt fica na raiz do seu site e diz aos robôs quais caminhos não devem ser rastreados. É um pedido, não uma tranca: páginas privadas ainda precisam de senha.
Bom saber
- Envie o arquivo como robots.txt para a pasta raiz (public_html)
- Não bloqueie arquivos CSS e JavaScript de que as páginas precisam
- Bloquear uma página no robots.txt não a remove do Google; use noindex para isso
- Bloquear robôs de IA impede novos rastreamentos, mas não o conteúdo já coletado