Robots.txt adalah file teks yang sederhana yang ditempatkan pada direktori root sobat. Sebuah contoh www.namablogsobat.com / robots.txt. File ini memberitahukan mesin pencari dan robot lain pada area situs sobat untuk diizinkan dikunjungi.
Sobat hanya dapat memiliki satu robots.txt di situs sobat dan HANYA di direktori root (di mana halaman blog sobat):
GOOD : www.namablogsobat.com / robots.txt
BAD : Tidak akan bekerja: www.namablogsobat.com / subdomain / robots.txt
Semua search engine utama akan mencari file ini, dan tentu saja yang paling spambots. Sobat benar-benar menginginkan keamanan di situs Anda, sobat harus benar-benar menempatkan file dalam sebuah direktori yang dilindungi, bukan mempercayai file robots.txt untuk melakukan pekerjaan ini. Berikut adalah cara-cara membuat robot txt
User-agent: *
Disallow:
Di atas merupakan ciri semua robot (agen pengguna) untuk pergi ke mana pun yang mereka inginkan atau (tidak di larang).
Yang satu ini, di sisi lain, terus keluar semua robot compliant:
User-agent: *
Disallow: /
Seperti sobat ketahui diatas, perbedaannya adalah sebuah garis miring ("/"). Tetapi jika sobat secara tidak sengaja menggunakan garis miring bahwa ketika sobat tidak bermaksud untuk membuatnya maka berhati-htilah karena semua konten akan hilang di search engine.
Hal yang penting untuk mengetahui apakah sobat sedang membuat file robots.txt wildcard (*) digunakan dalam garis user-agent, tidak diperbolehkan dalam garis atau dilarang.
Nah saya yakin sobat semua sudah paham penjelasan singkat tentang Robot txt. nah berikut cara membuatnya,
1. Copy code dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://web-mudho.blogspot.com/feeds/posts/default?orderby=updated
# Google Image
User-agent: Googlebot-Image
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://web-mudho.blogspot.com/feeds/posts/default?orderby=updated
User-agent: gsa-crawler
Disallow: /careers/user/
# Disallow the rest
User-agent: *
Disallow: /
Sitemap: http://web-mudho.blogspot.com/feeds/posts/default?orderby=updated
# Disallow the rest
User-agent: *
Disallow: /
User-agent: gsa-crawler
Disallow: /*/comment-page-*
Sitemap: http://web-mudho.blogspot.com/feeds/posts/default?orderby=updated
2. Ganti kode yang berwarna merah dengan URL Blog sobat
3. Setelah itu, buka dasbor, Klik Setting/Pengaturan lalu klik,Preferensi Penelusuran, Robot txt, lihat gambar dibawah ini.
4. Lalu sobat klik edit.
5. Masukkan kode robot txt kedalamnya, lihat gambar berikut
6. Lalu sobat Klik Simpan Perubahan
7. Simpan.
NB : Apabila sobat mau menambahkan ke berbagai jenis search engine boleh saja, berikut daftarnya sobat :
| Specific Search Robots: | googlebot | |
| MSN Search | msnbot | |
| Yahoo | yahoo-slurp | |
| Ask/Teoma | teoma | |
| Cuil | twiceler | |
| GigaBlast | gigabot | |
| Scrub The Web | scrubby | |
| DMOZ Checker | robozilla | |
| Nutch | nutch | |
| Alexa/Wayback | ia_archiver | |
| Baidu | baiduspider | |
| Naver | naverbot, yeti | |
| Specific Special Bots: | Google Image | googlebot-image |
| Google Mobile | googlebot-mobile | |
| Yahoo MM | yahoo-mmcrawler | |
| MSN PicSearch | psbot | |
| SingingFish | asterias | |
| Yahoo Blogs | yahoo-blogs/v3.9 | |
mantap gan, saya coba dulu gan caranya :)
ReplyDeleteOke Sob Coba aja Semoga berhasil
Deletedi coba dulu
ReplyDeletesudah dicoba, ko pas dicek pake robot teks cheker banyak tulisan yg merah, apa penyebabnya gan?
ReplyDeletePost a Comment