Apa itu Robot.txt? Cara Setting Robot.txt yang Benar

      Hey sob? kali ini saya akan memberikan sebuah pengetahuan beserta cara setting tentang Robot.txt yang sudah tidak asing lagi di telinga para blogger dan ahli SEO lainnya. Apa itu Robot.txt? Seberapa penting kah robot tersebut? Robot.txt bukan seperti robot yang kita kenal sebelumnya, namun robot.txt adalah sebuah pedoman untuk mengatur sebuah Robot-Crawl (Robot-Perayapan) tetang bagaimana cara yang diinginkan untuk merayapi sebuah halaman pada website atau blog anda. robot.txt sangat berperan penting bagi peningkatannya sebuah pengunjung dan keberhasilan dari teknik SEO yang banyak diincar orang.

      Bagi para blogger awam robot.txt mungkin tidak terpikirkan di benak mereka, blogger biasanya hanya memikirkan artikel dan pengunjung yang datang (visitor) tanpa memikirkan bagaimana cara peng-index-an sebuah artikel mereka ke mesin pencari dengan teknik Crawl (Perayapan). Sebuah cara unik yang dilakukan oleh para mesin pencari besar seperti Google untuk mengetahui halaman mana saja yang perlu dijelajahi oleh robot mereka (Robot-Crawl), ketika robot perayap melakukan search engine dan mengunjungi halaman situs anda maka hal yang pertama dilakukan oleh Robot-Crawl ialah melihat sebuah robot.txt yang ada terdapat pada web atau blog anda.

      Sebab itu untuk meningkatkan sebuah persaingan di dunia SEO (Search Engine Optimizer) anda juga harus mengetahui tentang teknik robot.txt dan cara settingan yang benar, jangan sampai anda salah setting dan tidak ada blog anda yang pernah di rayapi oleh robot dan sepi pengunjung deh akhirnya. Oke bagi anda para pengguna platform Blogger anda bisa mensetting sebuah pilihan robot.txt agar dapat mengontrol bot crawl search engine untuk menentukan halaman mana saja yang anda pilih untuk dirayapi.

Cara Masuk Ke Pengaturan Robot.txt pada Blogger

1. Login ke akun blogger anda.

2. Lalu masuk menu "Setelan" dan klik "Preferensi penulusuran".

3. Diasana terdapat pengaturan "robot.txt khusus" klik "Edit" pilih "Ya".

4. Masukan kode custom settingan robot-crawl yang dibutuhkan dan klik "Simpan Perubahan".

Masalahnya apa nih kode dari settingan robot-crawl yang dibutuhkan? Oke bagi anda yang belum mengtahui tentang pengaturan dari settingan robot.txt bisa simak pembahasannya berikut ini.

Dibawah ini merupakan Standar Default pengaturan Robot.txt pada Blogger. Anda bisa letakan kode di bawah ini di pengaturan robot.txt khusus tadi pada blog anda jika diinginkan.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://heysob.my.id/feeds/posts/default?orderby=updated

Settingan robot.txt diatas merupakan settingan standar default yang biasa digunakan Blogger, namun jika anda sudah merasa mampu menguasai SEO dan banyak pengunjung, pengaturan pada robot.txt sudah jangan dirubah kembali karena itu dapat mempengaruhi blog anda, tapi jika anda beberapa kode yang anda dapat tambahkan untuk kebutuhan blog anda bisa tambahkan namun tetap harus dengan prosedur pengatahuan tentang ilmu robot.txt. Untuk lebih lengkapnya saya berikan pengaturan kostum robot yang mungkin diperlukan,

Contoh Custom robot.txt sesuai kebutuhannya

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://heysob.my.id/feeds/posts/default?orderby=updated

Contoh diatas merupakan sebuah contoh costum robot.txt yang sesuai dengan kebuthannya masing-masing, namun jika ada kebutuhan yang tidak diinginkan anda bisa hapus saja karena itu dapat menggantu blog anda. Bingung dengan apa saja arti dari kalimat diatas? mari kita bahas satu persatu.

• User-agent: Mediapartners-Google
  Disallow: code ini menunjunkan bahwa bot crawl di perintahkan untuk merayapi semua tampilan adsense yang terdapat pada halaman situs anda, kode ini sangat berguna untuk merayapi semua halman blog anda dengan syarat ketentuan adsense. Anda bisa abaikan kode ini.


• User-agent : *
  pada code ini berguna untuk memerintahkan bot-crawl untuk merayapi seluruh halaman situs anda namun dengan ketentuan baris terpisah dari kode tersebut, yang dimaksudkan itu kode yang diterapkan setelah kode user-agent.


• Disallow: /search
  kode ini menunjukan bahwa setiap halman pencarian dalam bentuk URL tidak akan dijelajahi dan tidak diindex oleh bot-crawl. Kode ini dapat menjadi peningkat SEO untuk anda karena kode ini menghindari adanya duplikat kontent yang sering terjadi bagi pada blogger.


• Disallow: /p/*
  kode yang satu ini hampir sama dengan "Disallow: /search" namun perbedaanya pada kode ini memblokir perayapan pada halaman Laman pada blog anda. Namun jika anda juga ingin menindeks halaman laman anda, anda bisa hapus kode ini.


• Disallow: /?m=1
  Disallow: /?m=0
  Disallow: /*?m=1
  Disallow: /*?m=0
  pada kode ini menunjukan bahwa perayapan pada mode mobile atau tampilah handphone tidak dirayapi bahkan tidak diindex, hal ini juga untuk menghindari sebuah terjadinya duplikat content di mesin pencari yang terkadang juga memberikan hasil tampilan mobile saat mencari dengan komputer. Jika blog anda tidak mengalami masalah tersebut bisa hapus kode ini.


• Allow: /
  kode ini bertujuan untuk mengizinkan sebuah akses perayapan dan indeks pada mode Desktop atau tampilan Komputer.


• Sitemap: http://heysob.my.id/feeds/posts/default?orderby=updated
  kode ini bertujuan untuk menampilkan sebuah link sitemap blog anda.

#NB : anda bisa ganti url blogsejutaumat.com dengan url blog kalian

Untuk menguji custom robot.txt yang anda buat, anda bisa dengan mudah mengetikan url blog anda di addres bar browser dan menambahkan /robot.txt di belakang url blog anda.

Contohnya :

http://heysob.my.id/robots.txt

#Catatan : robot.txt bukan hanya sekedar pedoman bagi robot-crawl, namun dalam pemakaian harus sangat berhati-hati karena jika anda salah dalam menggunakan pengaturan robot.txt dengan asal akan terjadi masalah yang sangat fatal bahkan hingga bot-crawl tidak merayapi blog anda kembali, jadi anda perlu mempelajari tentang kode di setiap baris pada robot.txt dengan benar.

Oke mungkin itu saja yang bisa kita berikan mengenai artikel "Apa itu Robot.txt? Cara Setting Robot.txt yang Benar" ini, semoga dengan apa yang sudah kita berikan ini dapat bermanfaat bagi Kalian. Jika ada Kesalahan atau ada Pertanyaan serta Tambahan bisa isi pada kolom komentar. Terimakasih.