Robots.txt adalah salah satu file paling penting dalam pengelolaan website dan SEO, meskipun ukurannya sangat kecil. File ini berfungsi sebagai “peta aturan” yang memberi tahu mesin pencari bagaimana mereka boleh menjelajahi website kamu.
Pengaturan robots.txt yang tepat akan membantu website lebih cepat terindeks, lebih aman, dan lebih optimal di mesin pencari. Artikel ini membahas secara sangat lengkap dan terstruktur per poin, mulai dari pengertian, fungsi, cara kerja, struktur, hingga praktik terbaik penggunaannya.
Pengertian Robots.txt
Robots.txt adalah file teks yang diletakkan di direktori utama (root) website yang digunakan untuk mengatur akses bot mesin pencari terhadap halaman dan folder tertentu. File ini menggunakan standar Robots Exclusion Protocol (REP) yang dipatuhi oleh crawler seperti Googlebot, Bingbot, dan YandexBot. Lokasi file: https://namadomain.com/robots.txt ,Tanpa file ini, bot tetap bisa meng-crawl website, tetapi tanpa panduan yang jelas tentang prioritas dan batasan akses.
Cara Kerja Robots.txt
Saat bot mesin pencari seperti Googlebot, Bingbot, atau YandexBot mengunjungi sebuah website, langkah pertama yang mereka lakukan adalah mencari file robots.txt di root domain. File ini berfungsi sebagai panduan awal yang memberi tahu bot bagaimana mereka harus menjelajahi website tersebut.
Setelah menemukan robots.txt, bot akan membaca setiap aturan di dalamnya untuk memahami bagian mana dari website yang boleh di-crawl, bagian mana yang harus dihindari, serta file atau folder mana yang diizinkan untuk diakses. Berdasarkan aturan ini, bot akan menyusun rencana penjelajahan (crawl plan) sehingga waktu dan sumber daya mereka digunakan secara efisien untuk halaman yang benar-benar penting.
Jika sebuah halaman atau folder diblokir di dalam robots.txt menggunakan perintah Disallow, bot tidak akan melakukan proses crawling terhadap halaman tersebut, sehingga kontennya tidak dianalisis lebih lanjut. Namun, perlu dipahami bahwa pemblokiran ini tidak selalu berarti halaman tersebut pasti tidak muncul di hasil pencarian.
Jika halaman tersebut memiliki tautan dari website lain, mesin pencari masih bisa menampilkan URL-nya di hasil pencarian tanpa deskripsi lengkap. Oleh karena itu, robots.txt sebaiknya digunakan untuk mengatur proses crawling, bukan sebagai satu-satunya metode untuk menyembunyikan halaman, dan sering dikombinasikan dengan tag noindex agar halaman benar-benar tidak ditampilkan di hasil pencarian.
Fungsi Robots.txt Secara Detail
1. Mengontrol Akses Bot Mesin Pencari
Robots.txt menentukan halaman penting yang harus diprioritaskan dan halaman tidak penting yang sebaiknya dihindari.
2. Menghemat Crawl Budget
Mesin pencari memiliki batas kunjungan ke website. Robots.txt membantu agar crawl budget digunakan untuk halaman penting seperti artikel dan produk.
3. Melindungi Halaman Sensitif
Contohnya:
/wp-admin//login//cart//checkout/
4. Menghindari Konten Duplikat
Mengurangi crawl pada:
5. Mengatur Akses File Statis
Mengizinkan atau memblokir file:
Struktur Robots.txt dan Penjelasannya
Struktur robots.txt sebenarnya sangat sederhana dan mudah dipahami. Berikut contoh struktur dasar yang sering digunakan:
Artinya bisa dijelaskan dengan bahasa yang lebih mudah berikut ini:
- User-agent: *
Bagian ini berarti aturan berlaku untuk semua bot mesin pencari, seperti Google, Bing, dan lainnya.
- Disallow: /wp-admin/
Perintah ini memberitahu bot agar tidak masuk ke folder wp-admin, karena folder ini berisi halaman admin yang tidak perlu tampil di Google.
- Allow: /wp-admin/admin-ajax.php
Meskipun wp-admin diblokir, file ini tetap diizinkan diakses karena dibutuhkan agar fitur WordPress berjalan dengan baik.
- Sitemap: https://namadomain.com/sitemap.xml
Ini adalah alamat peta website (sitemap) yang membantu mesin pencari menemukan semua halaman penting dengan lebih cepat.
Contoh Robots.txt Berdasarkan Kebutuhan
1. WordPress Standar
2. Website Maintenance
3. E-Commerce
Cara Membuat dan Mengedit Robots.txt
1. Menggunakan Plugin SEO
Yoast, Rank Math, All in One SEO menyediakan editor robots.txt langsung di dashboard.
2. Membuat Manual
Melalui:
Kesalahan Fatal dalam Robots.txt
- Memblokir seluruh website tanpa sadar
- Salah penulisan struktur
- Menutup file CSS & JS
- Tidak menambahkan sitemap
- Tidak menguji di Search Console
Cara Mengecek & Menguji Robots.txt
Gunakan:
- Google Search Console → Robots.txt Tester
- Browser:
namadomain.com/robots.txt
Kesimpulan
Robots.txt adalah fondasi penting dalam SEO teknis. Dengan memahami dan menerapkan robots.txt secara benar, kamu dapat mengontrol bagaimana mesin pencari menjelajahi website, mengoptimalkan crawl budget, melindungi halaman sensitif, dan meningkatkan performa SEO jangka panjang.