Diindeks, meski diblokir oleh robots.txt di gsc, Apa Penyebabnya?

Biasanya, Google tidak akan mengindeks URL ini tetapi tampaknya mereka menemukan tautan ke sana dan menganggapnya cukup penting untuk diindeks.

Bagi anda yang masih belum mengetahui mengapa hal ini bisa terjadi, hal itu dikarenakan mesin pencari Google sudah mengabaikan perintah noindex dengan menggunakan file robots.txt.

Namun hingga saat ini platform blogger masih menggunakan file robots.txt yang berfungsi untuk mencegah halaman tertentu agar tidak terindeks di mesin pencari Google.

Halaman yang saya maksud adalah halaman pencarian dan label yaitu halaman File robots.txt default blogger seperti berikut ini.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.samuelpasaribu.com/sitemap.xml

Bisa kita lihat pada file robots.txt di atas tertulis perintah:

Disallow: /search

Jadi fungsi dari perintah ini adalah untuk memberitahu mesin pencari agar tidak mengindeks URL halaman yang diawali dengan kode /search setelah alamat blog.

Setelah Anda mengetahui Penyebab peringatan “Diindeks meski diblokir oleh robots.txt” sekarang saat untuk mengetahui cara memperbaikinya.

Baca juga : Menggunakan robot.txt dengan efektif di Blogger

Google menemukan tautan ke halaman yang tidak dapat diakses karena perintah robots.txt melarangnya. Ketika Google menganggap halaman ini cukup penting, mereka mengindeksnya.

Ada dua cara dan metode yang tepat yang dapat digunakan untuk mengatasi masalah seperti ini. Berikut ini Cara Memperbaiki “Diindeks, meski diblokir oleh robots.txt”.

Baca juga : Cara Daftar Google News untuk Blogger

Berikut ini cara memasang tag meta robot di template blog:

Pertama Anda bisa salin kode Meta Robot di bawah ini

<!--Meta Robot-->
<b:if cond="data:view.isSearch or data:view.isArchive">
    <meta content="noindex, noarchive" name="robots"></meta>
</b:if>

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://www.samuelpasaribu.com/sitemap.xml

Selain itu Anda juga bisa menggunakan alat Robots.txt Generator Tool for Blogger di postingan yang ada di blog ini.

Jangan lupa untuk mengganti alamat URL pada bagian Sitemap dari kode di atas yang ditandai dengan warna biru dengan alamat URL situs web Anda.

Setelah semuanya selesai klik Simpan.

Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Google Search Console. Setelah itu tunggu hingga notifikasi “Diindeks, meski diblokir oleh robots.txt” benar-benar hilang.

Baca juga : Meta Tag SEO Blogger dan Contoh

Google telah memvalidasi perbaikan yang saya lakukan untuk masalah Pengindeksan halaman di situs samuelpasaribu.com. Masalah spesifik yang divalidasi adalah 'Diindeks, meski diblokir oleh robots.txt'.

Kami telah melihat 'Peringatan yang diindeks, meskipun diblokir oleh robots.txt', artinya, cara mengidentifikasi laman atau URL yang terpengaruh, dan alasan di balik peringatan tersebut. Kami juga telah melihat cara memperbaikinya. Perhatikan bahwa peringatan tidak sama dengan kesalahan di situs Anda. Namun, kegagalan untuk memperbaikinya dapat mengakibatkan halaman terpenting Anda tidak diindeks yang tidak baik untuk pengalaman pengguna.

Masih banyak notifikasi lain yang muncul di Google Search Console. Namun, sebagian besar notifikasi ini bukan peringatan. Selama notifikasi tersebut bukan peringatan atau warning, maka Anda tidak perlu terlalu khawatir. Biarkan saja apa adanya. Untuk proses perbaikan Diindeks, meski diblokir oleh robots.txt di gsc memerlukan waktu yang lumayan lama dan tidak langsung instan.

Selain itu Anda dapat membaca postingan kami tentang bagaimana Cara Membuat Gambar Format WebP NextGen di Blogger. Jika Anda pernah menganalisis halaman situs web Anda menggunakan alat kecepatan halaman Google seperti alat PageSpeed ​​​​Insights, saya yakin rekomendasi untuk menyajikan gambar dalam format WebP NexGen adalah cara terbaik yang harus diterapkan pengguna blogger.