robots.txt
robots.txt memberi tahu bot pencari bagian mana yang boleh di-crawl. Satu baris Disallow yang salah bisa menyembunyikan seluruh situs dari Google, jadi sebaiknya dicek setiap kali ada perubahan.
Sitemap XML
Sitemap berisi daftar halaman yang ingin Anda indeks. Sitemap harus berupa XML yang valid, berisi kurang dari 50.000 URL per file, memakai domain Anda sendiri, dan idealnya mencantumkan tanggal lastmod. Cantumkan di robots.txt dengan baris Sitemap.