Cara Mengatasi Diindeks Meski Diblokir oleh Robots.txt

Cara Mengatasi Diindeks Meski Diblokir oleh Robots.txt - Baru baru ini banyak blogger yang mengalami masalah peringatan tentang index pada google search console, terutama pada saya sendiri, saya mendapatkan email dari google yang berisi tentang perbaikan untuk masalah liputan yaitu adalah diindeks meski diblokir oleh robots.txt agar segera untuk divalidasi, hal ini yang memengaruhi beberapa halaman pada blog saya. Nah, cara yang akan saya berikan kali ini dapat kalian terapkan juga pada blog kalian.

Halaman yang terpengaruh pada masalah ini adalah halaman search, navigasi postingan lama, dan halaman label, untuk mengatasi masalah ini cara nya cukup mudah kok, kita tinggal mengganti saja format robots.txt yang ada di blog kita, biasanya secara default robots.txt menggunakan format seperti ini :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.blogkamu.com/sitemap.xml

Pada format robots.txt tersebut kita sudah mengetahui bahwa halaman search tidak diizinkan untuk dirayapi oleh google bot. Langkah selanjutnya yang harus kita lakukan adalah mengganti format robots.txt dengan yang baru, dengan kode seperti ini :

User-agent: *
Disallow:

Sitemap: https://www.blogkamu.com/sitemap.xml
Sitemap: https://www.blogkamu.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.blogkamu.com/feeds/posts/default
Sitemap: https://www.blogkamu.com/sitemap-pages.xml

Cara Mengatasi Diindeks Meski Diblokir oleh Robots.txt

1. Buka blogger kalian.
2. Pilih menu Setelan > Preferensi Penelusuran > Perayapan dan Pengindeksan > Ubah robots.txt khusus dengan kode di atas.
3. Simpan perubahan.
4. Setelah itu, pilih menu Tema > Edit HTML > Copy kode di bawah ini > Taruh di bawah kode <head>.

<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

5. Kalau sudah, klik Simpan Tema.
6. Selanjutnya adalah submit robots.txt yang baru di Robots.txt Testing Tool.
7. Isi kolom nya dengan format robots.txt yang baru, test dan submit.

8. Tahap terakhir adalah lakukan validasi perbaikan pada Search Console, masuk ke menu Index > Liputan > Valid dengan peringatan > Diindeks, meski diblokir oleh robots.txt > Mulai validasi.

Demikianlah cara mengatasi masalah peringatan indeks pada search console nya, validasi nya memerlukan waktu dalam beberapa hari, nanti kalau sudah selesai, google akan memberitahukannya lewat email, jadi kita tinggal hanya menunggu saja dan melihat proses alur validasi nya, sekian, semoga dapat bermanfaat.