Minggu, Juni 04, 2017

Apa itu Robots.txt

Tags

Bagi para mastah dan suhu blogger, mendengar robots.txt sudah tidak asing lagi bagi mereka, karena file atau script yang satu ini cukup berdampak pada kinerja situs, oleh karena itu robot.txt seakan seperti bekal khusus buat blogger ketika akan memulai sebuah blog, wajib dibawa kemanapun, sampai sebegitu pentingnya, beberapa template blog yang beredar, ada yang sudah default mengantongi script ini dalam pembuatannya sehingga memudahkan pengguna dan pastinya menambah nilai lebih pada template tersebut.

Robot.txt adalah sebuah script khusus untuk mengatur sebuah Robot-Crawl (Robot-Perayapan) terkait bagaimana cara yang diinginkan untuk merayapi sebuah halaman situs.
Robots.txt juga berperan penting mendukung segala bentuk SEO yang sudah kita atur sedemikian rupa sehingga lebih optimal, nah ini penting buat blogger pemula untuk di perhatikan.


Kecendrungan para Blogger biasanya hanya terfokus pada konten atau artikel dan pengunjung yang datang sehingga kadang lupa memikirkan bagaimana cara peng-index-an sebuah artikel ke mesin pencari. 


Cara unik yang dilakukan oleh para mesin pencari besar seperti Google untuk mengetahui halaman mana saja yang perlu dijelajahi, ketika robot perayap melakukan pencarian dan mengunjungi sebuah halaman situs, hal yang pertama dilakukan oleh Robot-Crawl ialah melihat robot.txt yang ada terdapat pada web atau blog anda.

Untuk meningkatkan optimasi SEO yang sudah Anda lakukan, sebaiknya Anda juga harus mensetting robots.txt halaman blog, sehingga artikel Anda tidak terkesan sia-sia, dalam artian Anda sudah susah-susah menulis dan mengiklankan nya di berbagai media sosial misalnya, namun masih ada satu hal yang membatasi optimasi Anda sehingga bisa dibilang kinerja blog Anda kurang maksimal, artikel Anda masih belum bisa bersaing dengan para pesaing Anda.


Kita bahas sedikit bagaimana cara menyeting Robots.txt, khususnya blogger yang memakai platform Blogspot dari Google.

1. Setelah Anda login ke akun blogger.

2. Masuk menu "Setelan" dan klik "Preferensi penulusuran".

3. Didalamnya ada pengaturan "robot.txt khusus" klik "Edit" pilih "Ya".

4. Copy dan masukan kode settingan robot-crawl seperti contoh dibawah dan klik "Simpan Perubahan".

pada contoh dibawah, ganti alamat www.wigijo.com dengan alamat blog milik Anda.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.wigijo.com/feeds/posts/default?orderby=updated

Settingan robot.txt diatas merupakan settingan standar yang biasa digunakan, namun jika menurut Anda masih ada beberapa kode yang perlu Anda tambahkan terkait kebutuhan blog secara khusus, Anda bisa tambahkan juga, berikut beberapa kode pengaturan yang mungkin perlu diketahui.

Contoh Custom robots.txt sesuai kebutuhannya

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: https://www.wigijo.com/feeds/posts/default?orderby=updated

Contoh diatas merupakan sebuah contoh costum robot.txt yang sesuai dengan kebutuhannya masing-masing, Anda juga bisa menghapusnya jika ada kondisi yang tidak diinginkan sehingga tidak mengganggu blog anda. Bingung dengan apa saja arti dari kalimat diatas? mari kita bahas satu persatu.

User-agent: Mediapartners-Google
Disallow: 
Kode ini menunjukan bahwa bot crawl di perintahkan untuk merayapi semua tampilan adsense yang terdapat pada halaman situs Anda, kode ini sangat berguna untuk merayapi semua halaman blog dengan syarat dan ketentuan pada Google Adsense.

User-agent : *
pada kode ini bermaksud untuk memerintahkan bot-crawl agar merayapi seluruh halaman situs anda, yang dimaksudkan adalah kode yang diterapkan setelah kode user-agent.

Disallow: /search
kode ini menunjukan bahwa setiap halaman pencarian dalam bentuk URL tidak akan dijelajahi dan tidak diindex oleh bot-crawl. Kode ini dapat menjadi peningkat SEO untuk anda karena kode ini menghindari adanya duplikat konten yang sering terjadi bagi pada blogger.

Disallow: /p/*
Kode ini hampir sama dengan "Disallow: /search" namun perbedaanya pada kode ini memblokir perayapan pada halaman Laman pada blog anda. Namun jika anda juga ingin mengindeks halaman laman anda, anda bisa hapus kode tersebut.

Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
pada kode ini menunjukan bahwa perayapan pada mode tampilan handphone tidak dirayapi bahkan tidak diindex, hal ini juga untuk menghindari terjadinya duplikasi konten di mesin pencari yang terkadang juga memberikan hasil tampilan handphone saat mencari dengan komputer. Jika blog Anda tidak mengalami masalah dengan hal tersebut, Anda bisa hapus kode ini.

Allow: /
Kode ini bertujuan untuk mengizinkan sebuah akses perayapan dan indeks pada mode Desktop atau tampilan Komputer.

Sitemap: https://www.wigijo.com/feeds/posts/default?orderby=updated
kode ini bertujuan untuk menampilkan sebuah link sitemap blog Anda.


Perhatian :

Dalam pemakaian Robot.txt disarankan Anda harus sangat berhati-hati karena jika anda salah dalam setting pengaturannya, bisa berdampak pada blog Anda yang tidak di rayapi oleh robot perayap, bahkan terburuknya blog Anda tidak akan di rayapi lagi.

Demikianlah kurang lebih sharing yang bisa saya sampaikan kali ini terkait Apa itu Robot.txt, semoga bisa bermanfaat bagi Anda dan kembali lagi, diharapkan Anda memahami dengan baik mengenai pengaturan kode-kode tersebut sebelum Anda melakukan kesalahan fatal, jika Anda masih dalam proses pembuatan blog dan belum merencanakan jadwal terdekat kapan Anda akan mempublikasikannya lebih luas, sebaiknya jangan terburu-buru untuk merubah settingan defaultnya, ambilah kesempatan di sela-sela waktu online Anda untuk mempelajari lebih lanjut tentang apa itu robots.txt

Salam,

Artikel Terkait

Beginilah adanya WIGIJO, sedikit tulisan dan informasi yang dituangkan dalam sebuah blog dan memiliki cita-cita agar dapat berguna bagi banyak orang.

-Sharing is Fun-


EmoticonEmoticon