robots.txt adalah sebuah file teks yang digunakan untuk memberi instruksi kepada mesin pencari atau web crawlers mengenai bagian-bagian dari situs web yang boleh atau tidak boleh mereka akses. File ini ditempatkan di direktori utama situs web dan berfungsi sebagai pedoman bagi search engine bots agar tidak merayapi halaman atau file tertentu yang mungkin tidak ingin ditampilkan dalam hasil pencarian.
Isi dari file robots.txt menggunakan format tertentu yang terdiri dari dua elemen utama:
User-agent: Menunjukkan nama bot atau mesin pencari yang menerima instruksi tersebut.
Disallow: Menentukan bagian situs yang tidak boleh diakses oleh bot tersebut.
Allow (opsional): Digunakan untuk mengizinkan akses pada bagian tertentu yang mungkin dibatasi sebelumnya oleh instruksi “Disallow”.
Contoh robots.txt:
User-agent: *
Disallow: /private/
Allow: /public/
Dalam contoh ini, instruksi tersebut mengarahkan semua mesin pencari (karena menggunakan User-agent: *) untuk tidak merayapi halaman yang ada di dalam folder /private/, namun mereka diperbolehkan merayapi folder /public/.