Robots.txt dan SEO: Panduan Utama (2021)

Robots.txt adalah file sederhana namun signifikan yang dapat menentukan nasib situs web Anda di halaman hasil mesin pencari (SERP).

Kesalahan robots.txt adalah salah satu kesalahan SEO paling umum yang biasanya Anda temukan dalam laporan audit SEO. Faktanya, bahkan profesional SEO paling berpengalaman pun rentan terhadap kesalahan robots.txt.

Itulah mengapa penting untuk mendapatkan pemahaman yang lebih mendalam tentang cara kerja robots.txt.

Dengan memahami dasar-dasarnya, Anda akan dapat membuat file robots.txt sempurna yang memudahkan mesin telusur untuk merayapi dan mengindeks laman Anda.

Dalam panduan ini, kami akan membahas:

  • Apa itu robots.txt?
  • Mengapa robots.txt penting
  • Bagaimana menemukan file robots.txt Anda
  • Sintaks robots.txt
  • Cara membuat file robots.txt
  • Cara memeriksa apakah robots.txt Anda berfungsi
  • Praktik terbaik Robots.txt

Pada akhir posting ini, Anda akan memiliki file robots.txt yang dioptimalkan untuk SEO untuk situs web Anda.

Mari kita selami.

Apa itu Robots.txt?

Robots.txt adalah file teks yang dibuat oleh pemilik situs web yang menginstruksikan mesin telusur tentang cara merayapi laman di situs web Anda. Dengan kata lain, file robots.txt memberi tahu mesin telusur di mana ia boleh dan tidak boleh masuk ke situs Anda.

Berdasarkan Google:

Robots.txt digunakan terutama untuk mengelola lalu lintas perayap ke situs Anda, dan biasanya untuk menjauhkan laman dari Google, bergantung pada jenis file.

Misalnya, jika ada halaman tertentu di situs Anda yang tidak ingin diindeks oleh Google, Anda dapat menggunakan robots.txt untuk memblokir Googlebot (perayap web Google) agar tidak merayapi halaman tersebut.

Mengapa Robots.txt Penting?

Berlawanan dengan kepercayaan populer, memiliki robots.txt tidak penting untuk semua situs web.

Jika situs web Anda memiliki halaman yang sangat sedikit, Anda tidak perlu membuat file robots.txt untuk situs web Anda.

Google telah cukup berkembang untuk mempelajari halaman mana yang akan diindeks dan halaman mana yang harus diabaikan di situs Anda.

Yang mengatakan, itu umumnya praktik terbaik SEO untuk memiliki file robots.txt, bahkan jika Anda memiliki situs web kecil.

Mengapa?

Karena ini memberi Anda kontrol lebih besar atas halaman apa yang Anda inginkan untuk diindeks oleh perayap web.

Mari kita lihat lebih dekat 5 alasan utama Anda ingin membuat file robots.txt untuk situs web Anda:

  • Blokir halaman pribadi dari perayap mesin telusur: Anda dapat menggunakan robots.txt untuk memblokir halaman pribadi di situs web Anda. Halaman login Anda atau versi pementasan halaman di situs Anda seharusnya tidak dapat diakses oleh masyarakat umum. Di sinilah Anda dapat menggunakan robots.txt untuk mencegah orang lain mendarat di halaman ini.
  • Optimalkan anggaran perayapan Anda: Anggaran perayapan adalah jumlah halaman yang akan dirayapi Googlebot pada hari tertentu. Jika Anda mengalami kesulitan untuk mengindeks semua halaman penting, Anda mungkin menghadapi masalah anggaran perayapan. Ini adalah kasus di mana Anda dapat menggunakan robots.txt untuk optimalkan anggaran perayapan Anda dengan memblokir akses ke halaman yang tidak penting.
  • Cegah perayapan konten duplikat: Jika Anda memiliki konten yang sama yang muncul di beberapa halaman, Anda dapat menggunakan robots.txt untuk mencegah halaman duplikat dari peringkat di SERPs. Ini adalah masalah umum yang dihadapi oleh situs web eCommerce, yang dapat dengan mudah dicegah dengan menambahkan arahan sederhana ke file robots.txt Anda.
  • Cegah file sumber daya muncul di SERP: Robots.txt dapat membantu Anda mencegah pengindeksan file sumber daya seperti PDF, gambar, dan video.
  • Mencegah kelebihan server: Anda dapat menggunakan robots.txt untuk menentukan penundaan perayapan guna menghindari situs Anda kelebihan beban dengan permintaan.

Cara Menemukan File Robots.txt Anda

Jika Anda sudah memiliki file robots.txt, sangat mudah untuk menemukannya.

Ketik saja namasitusanda.com/robots.txt di browser Anda, dan jika situs Anda memiliki file robots.txt, seharusnya terlihat seperti ini:

File Robots.txt - 99signals

Jika situs Anda tidak memiliki file robots.txt, Anda akan menemukan halaman kosong.

Sintaks Robots.txt

Sebelum membuat file robots.txt, Anda harus mengetahui sintaks yang digunakan dalam file robots.txt. Berikut adalah 4 komponen paling umum yang akan Anda lihat di file robots.txt:

  • Agen pengguna: Ini adalah nama perayap web yang Anda beri petunjuk perayapan. Setiap mesin pencari memiliki nama agen pengguna yang berbeda. Contoh: Googlebot adalah nama agen pengguna Google.
  • Melarang: Ini adalah arahan yang digunakan untuk menginstruksikan agen pengguna untuk tidak merayapi URL tertentu.
  • Mengizinkan: Arahan ini digunakan untuk menginstruksikan agen pengguna untuk merayapi halaman, meskipun halaman induknya tidak diizinkan.
  • Peta Situs: Ini adalah arahan yang digunakan untuk menentukan lokasi peta situs XML Anda ke mesin pencari.

Cara Membuat File Robots.txt

Jika situs Anda tidak memiliki file robots.txt, mudah untuk membuatnya. Anda dapat menggunakan editor teks apa pun untuk membuat file robots.txt.

Jika Anda menggunakan Mac, Anda dapat membuat file robots.txt menggunakan aplikasi TextEdit.

Buka dokumen teks dan mulai mengetik arahan.

Misalnya, jika Anda ingin Google mengindeks semua halaman Anda dan hanya menyembunyikan halaman admin, buat file robots.txt yang terlihat seperti ini:

User-agent: *
Disallow: /wp-admin/

Setelah Anda selesai mengetik semua arahan, simpan file sebagai “robots.txt.”

Anda juga dapat menggunakan ini generator robots.txt gratis oleh SEOptimer untuk menghasilkan robots.txt Anda.

generator robots.txt oleh SEOptimer

Jika Anda ingin menghindari kesalahan sintaks saat membuat file robots.txt, saya sangat menyarankan Anda menggunakan generator robots.txt. Bahkan kesalahan sintaks kecil dapat mendeindeks situs Anda, jadi pastikan robots.txt Anda disetel dengan benar.

Setelah file robots.txt Anda siap, unggah ke direktori root situs web Anda.

Gunakan klien FTP seperti Filezilla untuk menempatkan file teks di direktori root domain. Misalnya, file robots.txt dari namasitusanda.com harus dapat diakses di namasitusanda.com/robots.txt.

Cara Memeriksa Apakah Robots.txt Anda Berfungsi

Setelah Anda mengunggah file robots.txt ke direktori root, Anda dapat memvalidasinya menggunakan Penguji robots.txt di Google Search Console.

Alat Penguji robots.txt akan memeriksa apakah robots.txt Anda berfungsi dengan benar. Jika Anda telah memblokir URL apa pun dari perayapan di robots.txt, alat Penguji akan memverifikasi apakah URL tertentu memang diblokir oleh perayap web.

Alat Penguji Robots.txt oleh Google

Sekarang, hanya karena robots.txt Anda divalidasi sekali, bukan berarti robots.txt akan bebas dari kesalahan selamanya.

Kesalahan robots.txt cukup umum. File robots.txt yang dikonfigurasi dengan buruk dapat memengaruhi kemampuan perayapan situs Anda. Jadi, Anda harus waspada terhadap masalah dan memastikan file robots.txt Anda tidak mengandung kesalahan.

Cara paling efektif untuk memeriksa masalah robots.txt Anda adalah dengan menggunakan Google Search Console. Masuk ke akun Google Search Console Anda dan arahkan ke laporan “Cakupan” di bagian “Indeks”.

Jika ada kesalahan dan peringatan yang terkait dengan file robots.txt, Anda akan menemukannya di laporan “Cakupan”.

Anda juga dapat menggunakan alat seperti SEMrush untuk mengaudit file robots.txt untuk menemukan kesalahan.

Jika Anda memiliki langganan SEMrush aktif, jalankan audit situs reguler di situs Anda untuk menjaga kesehatan SEO teknis situs Anda dan untuk mengidentifikasi dan memperbaiki kesalahan robots.txt.

Untuk memeriksa kesalahan robots.txt Anda, kunjungi laporan ikhtisar audit situs terbaru dan cari “Pembaruan Robots.txt” widget. Anda akan melihat apakah SEMrushBot dapat merayapi file robots.txt Anda.

Widget Robots.txt - SEMrush

Jika Anda telah membuat perubahan pada file robots.txt, SEMrush akan menampilkan jumlah perubahan yang dibuat sejak crawl terakhir.

Lebih penting lagi, SEMrush juga akan menyoroti masalah dengan file robots.txt Anda dan memberikan rekomendasi tentang cara memperbaikinya untuk meningkatkan kemampuan perayapan dan kemampuan indeks situs web Anda.

Catatan samping: SEMrush adalah perangkat lunak SEO yang kuat yang dapat membantu Anda dengan lebih dari sekadar analisis SEO teknis. Anda dapat menggunakannya untuk melakukan riset kata kunci, analisis backlink, riset pesaing, dan masih banyak lagi. Coba SEMrush Pro gratis selama 30 hari.

Praktik Terbaik Robots.txt

Sekarang setelah Anda mengetahui dasar-dasar robots.txt, mari kita lihat sekilas beberapa praktik terbaik yang perlu Anda ikuti:

1. Robots.txt peka huruf besar-kecil

Nama file robots.txt peka huruf besar/kecil. Jadi pastikan file tersebut bernama “robots.txt” (dan bukan robots.TXT, ROBOTS.TXT, Robots.Txt, dll.)

2. Tempatkan File Robots.txt di Direktori Utama

File robots.txt Anda harus ditempatkan di direktori utama situs Anda. Jika file robots.txt Anda ditempatkan di subdirektori, file tersebut tidak akan ditemukan.

Buruk:

namasitusanda.com/halaman/robots.txt

Baik:

namasitusanda.com/robots.txt

3. Gunakan Wildcard untuk Mengontrol Bagaimana Mesin Pencari Merangkak Situs Web Anda

Ada dua wildcard yang dapat Anda gunakan di file robots.txt — the wildcard dan ($) wildcard. Penggunaan ini wildcard robots.txt

membantu Anda mengontrol cara mesin telusur merayapi situs web Anda. Mari kita periksa masing-masing wildcard ini:

User-agent: *
Disallow: /wp-admin/

Wildcard

Anda dapat menggunakan

User-agent: *
Disallow: /*.pdf$

wildcard di file robots.txt Anda ke alamat semua agen pengguna (mesin telusur). Misalnya, jika Anda ingin memblokir semua perayap mesin telusur agar tidak merayapi halaman admin Anda, file robots.txt Anda akan terlihat seperti ini:

($) Kartu Liar

Wildcard ($) menunjukkan akhir dari URL. Misalnya, jika Anda ingin memblokir perayap agar tidak mengindeks semua file PDF di situs Anda, file robots.txt Anda akan terlihat seperti ini:

4. Gunakan Komentar untuk Referensi Masa Depan

# This blocks Googlebot from crawling yoursitename.com/directory1/
User-agent: googlebot
Disallow: /directory1/

Komentar di file robots.txt Anda dapat membantu pengembang dan anggota tim lain yang memiliki akses ke file tersebut. Mereka juga dapat digunakan untuk referensi di masa mendatang.

Untuk menambahkan komentar ke file robots.txt Anda, ketik kunci hash (#) dan masukkan komentar Anda.

Berikut ini contohnya:

Perayap web mengabaikan baris yang menyertakan hash.

Setiap subdomain membutuhkan file robots.txt sendiri. Dengan demikian, jika Anda memiliki bagian situs yang dihosting di subdomain yang berbeda, Anda harus membuat dua file robots.txt terpisah.

Misalnya, blog HubSpot dihosting di subdomain dan memiliki file robots.txt sendiri:

HubSpot Robots.txt

HubSpot Robots.txt Pikiran AkhirRobots.txt mungkin berupa file teks sederhana, tetapi merupakan alat SEO yang hebat. File robots.txt yang dioptimalkan dapat meningkatkan kemampuan indeks halaman Anda dan meningkatkan visibilitas situs Anda dalam hasil pencarian.

Untuk detail lebih lanjut tentang cara membuat file robots.txt yang sempurna, Anda dapat merujuk ke ini

panduan robots.txt oleh Google .

Leave a Comment