..:::!!!!! Selamat Datang !!!!!:::..Hello all_Friends ::::: Nur Rohman Share® !!!!...Mitra Bisnis Pulsa Elektrik Termurah...!!! Download Software | Tutorial Blog | Pusat Servis Computer dan Servis HP CONTACT-085789915222 & EMAIL- (si_owner@yahoo.com)

Setting Custom robots.txt di blog

Thursday, May 24, 2012 | Nur Rohman | 2 komentar
Sebelum kita berbicara tentang robots.txt, yang perlu dan harus sobat tahu adalah tentang Protokol Robots Exclusion. Mungkin istilah ini jarang atau bahkan tumben sobat blogger dengar selama sobat blogger menekuni dunia website atau blog. Oleh karena itu, saya uraikan sedikit tentang Protokol Robots Exclusion.

Pemilik situs Web atau blog menggunakan file / robots.txt untuk memberikan instruksi tentang situs/blog mereka untuk robot web, inilah yang disebut Protokol Robots Exclusion .


robots.txt,Cara Setting Custom robots.txt,robots.txt blogger,panduan setting robots.txt,cara setting blog
Protokol Robots Exclusion bekerja dengan cara seperti ini : Ketika sebuah robot akan mengunjungi URL dari sebuah blog, sebagai contoh http://lenterablogger.blogspot.com/welcome.html. Sebelum melakukan kunjungan tersebut, Robots Exclusion Protocol akan memeriksa terlebih dahulu http://lenterablogger.blogspot.com/robots.txt, dan menemukan


User-agent: *
Disallow: /

Kata "User-agent: *" artinya berlaku untuk semua robot dan kata "Disallow: /" memberi tahu robot untuk tidak mengunjungi beberapa halaman dari blog tersebut.

Ada dua pertimbangan penting yang harus kita pikirkan ketika menggunakan /robots.txt yaitu :

  1. Robot bisa saja mengabaikan / robots.txt sobat blogger.
  2. File / robots.txt adalah file yang tersedia untuk umum.
Berikut ini contoh robots.txt beserta fungsinya masing-masing :
Memberikan pengecualian semua robot dari seluruh server
User-agent: *
Disallow: /

Membiarkan semua robot untuk melakukan Akses di blog tersebut :
User-agent: *
Disallow:

Memberikan pengecualian terhadap semua robot dari bagian Server
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

Memberikan pengecualian terhadap single robot
User-agent: BadBot
Disallow: /

Membiarkan single robot
User-agent: Google
Disallow:

User-agent: *
Disallow: /

Memberikan pengecualian terhadap semua file kecuali satu
User-agent: *
Disallow: /~joe/stuff/

Atau sobat blogger dapat secara eksplisit melarang semua halaman dianulir:
User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

Apakah sobat blogger sudah bisa memahami penjelasan di atas? Mungkin sobat blogger malah tambah pusing. Jadi, lebih baik saya jelaskan langsung tentang cara menambahkan Custom robots.txt pada blog yang bernaung di bawah Paltform blogger.com


Cara Setting Custom robots.txt di blog :
robots.txt,Cara Setting Custom robots.txt,robots.txt blogger,panduan setting robots.txt,cara setting blog

  • Lihat bagian Crawlers and indexing
    robots.txt,Cara Setting Custom robots.txt,robots.txt blogger,panduan setting robots.txt,cara setting blog

  • Klik kata Edit pada Custom robots.txt ?
  • Di bagian Enable custom robots.txt content?, kasih tanda pada kolom "yes"

    robots.txt,Cara Setting Custom robots.txt,robots.txt blogger,panduan setting robots.txt,cara setting blog


  • Masukkan kode berikut
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.rh-tronik.web.id/feeds/posts/default?orderby=UPDATED

  • Klik Save Changes

Tambahan :

Jangan lupa ganti http://www.rh-tronik.web.id dengan URL blog sobat.

Kode yang saya gunakan untuk Custom robots.txt di atas merupakan kode yang biasa di terapkan di blog. Kalau sobat blogger ingin menggunakan kode yang berbeda dengan saya (Lentera Blogger), Sobat bisa gunakan salah satu dari kode yang sudah saya jabarkan sebelumnya.



Itu adalah tutorial singkat tentang cara Setting Custom robots.txt di blogger. Semoga informasi ini berguna buat sobat blogger. Untuk mendapatkan informasi yang lebih banyak tentang robots.txt, sobat blogger bisa mengunjungi halaman berikut : http://www.robotstxt.org/robotstxt.html
Setting Custom robots.txt di blog Reviewed by Nur Rohman on Thursday, May 24, 2012 Rating: 4.5
Share on: Twitter, Facebook, Delicious, Digg, Reddit

Ditulis Oleh : Nur Rohman ~ Tips dan Trik Blogspot

Christian angkouw Artikel Setting Custom robots.txt di blog ini ditulis oleh Nur Rohman pada hari Thursday, May 24, 2012. Terimakasih atas kunjungan Anda pada blog ini. Kritik dan saran tentang Setting Custom robots.txt di blog dapat Anda sampaikan melalui kotak komentar dibawah ini. Bagi Shobat yang ingin mengcopy paste atau menyebar-luaskan artikel ini, tolong letakkan link dibawah ini sebagai sumbernya

:: Get this widget ! ::

2 comments:

  1. dampak positif dan negatif mengaktifkan robot txt apa gan?

    ReplyDelete
  2. Nice Post..!
    I Like It's...
    Semoga sukses selalu. . .

    ReplyDelete