Cara Aman Setting Robot txt Seo Friendly

CARA SETTING PENGATURAN ROBOT TXT SUPER SEO YANG BENAR

Cara Aman Setting Robot txt Seo Friendly

Selamat Datang di Blog Orang IT . Postingan saya kali ini saya akan share sedikit mengenai bagaimana cara setting robot txt yang aman dan SEO friendly untuk mengoptimalkan sebuah situs blog dimesin pencari tentu saja dengan tujuan agar artikel blog anda mudah dirayapi dan di index sehingga blog bisa berada dihalaman pertama google.
Robots.txt adalah sebuah file berformat text (.txt) yang wajib dimiliki setiap situs diinternet yang didaftarkan pada mesin pencari seperti google, yahoo, dan bing. Jadi robots.txt sangat erat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.
Setelah kita tahu pengertian robot txt , kita jadi tahu fungsi dari robot txt adalah mengatur mana alamat situs yang boleh di index mana yang tidak perlu di index . Pertanyaan selanjutnya adalah kenapa kita tidak membiarkan robot txt search engine menelusuri semua link yang ada di blog kita ?

Perbandingan penerapan robot txt

Seperti kita tahu bahwa robot crawl mesin pencari memiliki batasan jumlah link yang dirayapi setiap situs , misalnya saja link blog A ( berisi 40 artikel ) dan link blog B ( berisi 40 artikel ) , link blog A memfilter robot txt agar tidak merayapi dan mengindex tautan seperti link about , contact, link label dll dan hanya memperboleh kan mengindex link menuju artikel blog sementara blog B dengan pengaturan allow menginginkan agar semua link yang ada diblog agar dirayapi berupa link label, link komentar , link pencarian , link gambar , link keluar dll sementara misalnya saja dibatasi robot crawl hanya mengindeks 30 artikel saja setiap hari

Tentunya dari contoh masalah diatas link blog A lebih SEO Friendly dan lebih mudah artikelnya ditemukan dihalaman mesin pencari ketimbang Blog B . Mengingat banyaknya jumlah link yang ada di sebuah situs dan mengingat terbatasnya jumlah perayapan robot mesin pencari.

Kasus Kesalahan Penerapan robot txt

Beberapa waktu lalu teman saya  sesama blogger pemula mengeluhkan tentang blog nya yang susah sekali keindex dimesin pencari , tidak mobile friendly padahal template nya sama dengan saya evomagz , beberapa deskripsi artikelnya hilang berganti " deskripsi dibatas oleh robot txt " , ternyata penyebabnya adalah dia berusaha menerapkan settingan robot txt super SEO yang didapat dari blog postingan tahun 2014 berikut robot txt nya.

Anda bisa mengecek robot txt yang digunakan oleh situs blog dengan cara berikut
Namasitus.com/robots.txt
User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*_*_*_archive.html
Disallow: /*/*/*.html?showComment=*
Disallow: /delete-comment.g?blogID=

User-agent: *
Disallow: /search

Sitemap: http://sensorsitenya.blogspot.com/feeds/posts/default?orderby=UPDATED

Sekarang mari kita coba baca arti dari robot txt yang seharusnya sudah tidak perlu digunakan ditahun ini .

User-agent: Mediapartners-Google : 
// menunjukkan bahwa blog ini merupakan salah satu partner dari google , jika didalam blog terdapat iklan adsense maka akan membantu dalam menampilkan konten iklan yang sesuai dengan niche blog atau artikel yang akan dibuka

Disallow:  
// menunjukkan ada yang tidak boleh dirayapi oleh mesin pencari

User-agent: Googlebot 
// disini bahwa hanya robot pencari dari google akan melakukan perintah kode yang ada dibawahnya

Disallow: /search 
// baris ini menunjukkan bahwa untuk link menuju pencarian dalam bentuk URL tidak akan di index dan dijelajah oleh bot crawler . Baris ini sangat penting untuk SEO blog anda dimana untuk link label , link archive , link pencarian tidak akan dirayapi. Hal ini berguna untuk menghindari duplikat konten pada blog.

misalnya saja helmy.com/search.label/seo

Disallow: /*?m=1 Disallow: /*?m=0
// fungsi kode ini menunjukkan bahwa robot crawl tidak boleh merayapi link menuju halaman redirect mobile phone , misal jika membuka blog namablog.com/?m=1 dengan tampilan mobile maka jika menerapkan kode ini akan dicekal dan tidak akan ditampilkan. ( blog akan selalu ditampilkan dalam versi template dekstop )

Selain itu fungsi ini juga menghindari duplikat halaman dimesin pencari yang akan ditampilkan kedalam versi mobile , 

Celakanya sekarang eranya mobilegeddon dimana mesin pencari menuntut agar beberapa situs support untuk dutampilkan kedalam versi mobile friendly jika anda masih menggunanakan perintah m=1 m =0 berikut beberapa dampak yang ditimbulkan :

- Blog menjadi tidak mobile SEO friendly , sekarang jamanya orang mencari template yang bisa otomatis menyesuaikan perangkat jika anda menggunakan potongan kode akses diatas maka secara otomatis robot txt akan mencekal halaman untuk ditampilkan kepada versi mobile phone

Kunjungi https://www.google.com/webmasters/tools/mobile-friendly/ , meskipun menggunakan template SEO Premium evomagz namun jika menggunakan perintah robot txt diatas hasilnya blog tidak mobile friendly
Cara Aman Setting Robot txt Seo Friendly

- Hilangnya deskripsi pencarian dalam mode tampilan mobile , jadi penggunaan dalam versi mobile deskripsinya akan berubah menjadi "Deskripsi untuk hasil ini tidak tersedia karena robots.txt situs tersebut" cek pada gambar dibawah ini masih fresh

Cara Aman Setting Robot txt Seo Friendly
Meta deskripsi sangatlah penting karena google menggunakanya sebagai cuplikan dari artikel yang akan ditampilkan hal ini juga mempengaruhi visitor untuk menemukan mana konten relevans mana yang bukan apalagi karena kesalahan robot txt menyebabkan deskripsi blog hilang tentu mesin pencari akan sulit menentukan blog tersebut relevans untuk ditampilkan pada pengguna atau tidak 

- Menurunkan peringkat di SERP google , sudah saya singgung diatas mengenai algoritma mobilegeddon dimana semua situs harus bisa tampil menyesuaikan perangkat mobile jika sampai dicekal robot txt berarti google akan menganggap bahwa blog anda hanya untuk dekstop tidak bisa ditampilkan pada perangkat mobile

Disallow: /*_*_*_archive.html 
 // Google bot crawl akan mengabaikan semua link yang ada di archive

Disallow: /*/*/*.html?showComment=*
// semua link dikoment akan diabaikan dan tidak akan ditelusuri

Disallow: /delete-comment.g?blogID=
// link blog dihapus tidak akan ditelusuri , usahakan hanya link menuju artikel post saja yang ditelusuri

User-agent: *
// ini adalah aturan untuk semua mesin pencari google yahoo , bing , yandex dll mengenai perintah lebih lengkap ada dibaris bawahnya

Disallow: /search
// tidak akan ditelusuri tidak akan dirayapi "/" melambangkan nama situs blog yang berkaitan dengan search

Sitemap: http://sensorgaenaksamaorangnya.blogspot.com/feeds/posts/default?orderby=UPDATED
// ini adalah halaman feed , karena berisi query untuk menampilkan update saja maka hanya 25 postingan saja yang akan ditampilkan tidak cocok digunakan pada blog yang artikelnya sudah ratusan

Setelah menganalisa permasalahan robot txt yang menyebabkan blog teman saya sangat sulit dirayapi mesin pencari sekarang kita akan memilih apakah mengembalikan robot txt kebawaan defaul atau masih mencoba untuk mengcustome robot txt agar SEO Optimal ?

 1. Gunakan robot txt bawaan default saja

Sebenarnya settingan robot txt bawaan blogger inilah yang paling aman namun bukan berarti tidak efektif atau kurang optimal hanya saja sebagian orang menginginkan lebih cepat dan lebih baik padahal mengganti robot txt default resikonya cukup besar salah - salah malah blog hilang dari mesin pencari

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://helmykkediri.blogspot.com/sitemap.xml
 
Kita baca sekilas saja untuk menyingkat tulisan

Semua mesin pencari tidak perlu membaca tautan dengan blog.com/search/.../... , dan diperbolehkan untuk membaca tautan "/" ini adalah inisial untuk semua alamat URL postingan blog anda dan feed sitemap.xml akan membaca hasil dari rss feed anda mirip ketika anda membuka namablog.com/atom.xml

 2. Cara custom robot txt paling aman

Anda ingin tetap mengcustome robot txt dan menginginkan beberapa halaman seperti about , tos , privacy, disclaimer dan beberapa halaman yang sifatnya memang tidak perlu ditampilkan agar tidak dirayapi mesin pencari gunakan robot txt berikut

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /dd/yy/about.html
Disallow: /dd/yy/contact.html
Allow: /

Sitemap: http://helmykkediri.blogspot.co.id/atom.xml?redirect=false&start-index=1&max-results=500
Jika postingan anda dibawah 500 gunakan sitemap diatas , kalau postingan anda ada ribuan cukup tambahkan dengan jarak 500

Sitemap: http://helmykkediri.blogspot.co.id/atom.xml?redirect=false&start-index=501&max-results=1000

Atau anda bisa menggunaka robot.txt dibawah ini . Arti konfigurasinya untuk semua artikel dan postingan akan diindex kecuali pencarian untuk label dan halaman update ( page ) ini berarti bahwa pencarian untuk komentar yang didelete akan dirayapi
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://xxx.blogspot.com/sitemap.xml

Cara menerapkanya robot txt di blogger cukup mudah :

1. Buka google masuk akun blogger - setelan - preferensi dan penelusuran , lihat jendela sebelah kanan

Cara Aman Setting Robot txt Seo Friendly
Defaultnya adalah nonaktifkan , silahkan klik edit dan paste kode robot txt disitu dan simpan
Cara Aman Setting Robot txt Seo Friendly

Oke selesai sudah capek ngetik hehe , silahkan dicek namablog.com/robots.txt 

Peringatan lagi : Kesalahan saat setting robot txt menyebabkan situs anda diabaikan oleh mesin pencari , saran saya gunakan saja versi defaultnya atau jika ingin custome setidaknya anda paham terhadap setiap baris code yang anda tulis
Oh ya lupa ini tampilan tag tajuk robot nya , masuk ke setelan - preferensi penelusuran - tag tajuk robot khusus setting seperti gambar dibawah

Cara Aman Setting Robot txt Seo Friendly


Sedikit cara bacanya , kita memperbolehkan mesin pencari merayapi halaman utama beranda , default untuk isi post dan lama ( semua link blog yang ada ) dan kita melarang bot untuk menelusuri link arsip serta link mode penelusuran / pencarian . Begitulah

Demikian postingan mengenai Cara Aman setting robot txt blogger SEO Friendly semoga bermanfaat. Tulisan yang saya ketik terbatas dengan pengetahuan dan rasa ngantuk jadi jika ada kekeliruan mohon koreksinya . Sekian dan terimakasih

 Follow Blog Orang IT dan jangan lupa Like FansPage Helmykkediri dibawah serta jangan lupa untuk klik iklan yang ada pada Blog ini.untuk biaya perawatan admin

8 Responses to "Cara Aman Setting Robot txt Seo Friendly"

  1. lebih baik pake default atau costum?
    btw admin sendiri pake yang mana?

    ohh iya jalan-jalan juga ke sini
    http://www.gandoom.xyz/

    BalasHapus
  2. makasih min atas infonya, pantesan aja pas tadi ane buka web master ada pesan "Important page blocked by robot" ternyata 2 hari yang lalu ane salah menerapkan custom robot.txt yang udah gak efektif lagi

    BalasHapus
  3. terimakasih banyak gan dari kemaren ane nyari yang tutorial robot txt yang seo yang kayak kayak gini

    eh tau nya yang defaultnya lebih bagus.

    kemaren waktu yang default post ane terindeks 6 postingan

    lalu di ubah robot txt yang kata nya seo malah terindeks 5 postingan nah,,,itu ilang satu

    dan sekarang balik lagi default nurutin saran agan.
    thanks

    BalasHapus
  4. Maaf..kalau tahun 2017 ini yang mana yang dianjurkan, gan ? Jujur saja tiap kali berganti tahun berganti juga setting robot txt ini membuat saya bingung. Bisa kasih saran, gan ?

    BalasHapus
    Balasan
    1. rajin2 ngecek rule robot txt diwebmaster gan kalau ada error bagian yang terblock berarti google ada algoritma baru lagi paling aman emang pakai default

      Hapus
    2. Saya cek di GWM tidak ada url yang terblok tapi kok pengunjung menurun drastis setelah saya submit ulang peta situs ? Apakah itu normal atau bermasalah ? Btw, mana format peta situs yang bagus atau dianjurkan para ahli SEO sekarang ? Sitemap xml atau atom xml?redirect false start index 1 max results 500 ? Saya pakai site map xml hampir semua diindex tapi ada 2 peringatan tapi pakai atom xml malah cuma separu saja yang diindex tapi cuma ada 1 peringatan saja ? Mohon pencerahannya, gan. Terima kasih.

      Hapus
  5. mantap lengkap banget gan,, mampir ke sini gan tridarmawanto.blogspot.com

    BalasHapus

Terimakasih telah membaca artikel di Blog Orang IT aturan berkomentar yang baik dan benar :

1. Blog ini tidak memberikan backlink dikotak komentar karena sifatnya nofollow

2. Jika masih menyertakan link aktif tidak akan berefek apapun baik bagi blog anda maupun blog saya

3. Jika artikel postingan dirasa sudah expired atau outdate silahkan berkomentar minta diperbaharui atau hubungi admin melalui menu about

4. Berkomentar dengan relevan , usahakan komentar bermanfaat bagi pengunjung yang lain

5. Admin mengabaikan komentar anonimous

Terimakasih sekian jangan lupa Follow Blog Orang IT dan Like Fanspage Helmykkediri