Membuat Robot.txt dan Setting Custom robots header tags di Blog

Membuat Robot.txt dan Setting Custom Robots Header Tags Di Blog - robot.txt dan Custom robot header tags adalah suatu perintah kepada para robot crawling (robot perayap mesin pencari) untuk mengindeks maupun tidak mengindeks kepada suatu web.  Hal ini memang sangat bermanfaat sekali dalam sistem SEO, karena robot hanya merayap hal-hal yang penting saja di blog kita, sehingga waktu perayapan pun cepat. Waktu perayapan oleh para robot crawling cepat maka otomatis kita dalam ke search oleh para Search Engine pun lebih mudah dan cepat. Untungnya sekarang Blogger sudah menyediakan untuk tempat robot.txt dan Custom robots header tags.

A. Membuat Settingan robot.txt

1. Buka Blogger>> Klik Setting>> Search Preferences

2. Klik Edit Pada Custom Robot.txt dan pilih Yes

3. Masukan kode Di Bawah ini ke dalam kotak

User-agent: *
Disallow: /search?*
User-agent: Mediapartners-Google
Allow:/
Sitemap: http://gtips-trick.blogspot.com/feeds/posts/default?orderby=updated
Sitemap: http://gtips-trick.blogspot.com/sitemap.xml

Ganti Sitemapnya dengat Sitemap milik anda.

4. Lalu klik Save Changes.

B. Setting Custom Robot Header Tags

Untuk Setting Robot Header Tags bisa anda lihat gambar di bawah ini

Setelah semua selesai di Centang klik Save Changes.