Diindeks, meski diblokir oleh robots.txt

Advertisement

Penawaran Terbatas! Paket Data 25GB Hanya Rp 90.000

---

Dapatkan kuota besar 25GB untuk semua nomor AS, Loop, dan simPATI hanya dengan Rp 90.000, berlaku selama 30 hari! Internet lancar tanpa khawatir kehabisan kuota, cocok untuk streaming, gaming, dan browsing sepuasnya!

Aktifkan sekarang dan nikmati kebebasan internet!

Read More Beli Paket

Advertisement

Hari ini, 24 Agustus 2021 saya membuka "Google Search Console" dan mendapatkan notifikasi "Diindeks, meski diblokir oleh robots.txt". Setidaknya ada 21 halaman yang kena permasalahan terkait hal ini.

Beberapa perbaikan untuk masalah Cakupan gagal untuk situs https://www.armaila.com/

11 Agu 2021

Anda meminta agar Google memvalidasi perbaikan masalah Cakupan di situs https://www.armaila.com/. Perbaikan yang diminta adalah untuk masalah berikut: 'Diindeks, meski diblokir oleh robots.txt'.

Namun, kami mendapati bahwa beberapa halaman masih terpengaruh oleh masalah ini.

Untuk memeriksa detail lengkap tentang proses verifikasi dan mempelajari cara memperbaiki halaman lainnya, silakan buka link ini.

Untuk mengatasi hal ini yang armaila lakukan adalah menonaktifkan settingan robot.txt di pengaturan bloggernya. Sebelumnya mengotak atik robot.txt. dengan isi lebih kurang seperti berikut ini

User-agent: *

Disallow:

Sitemap: https://www.armaila.com/sitemap.xml

Sitemap: https://www.armaila.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: https://www.armaila.com/atom.xml?redirect=false&start-index=501&max-results=500

Sitemap: https://www.armaila.com/atom.xml?redirect=false&start-index=1001&max-results=500

Sitemap: https://www.armaila.com/feeds/posts/default

Sitemap: https://www.armaila.com/sitemap-pages.xml

Setelah dinonaktifkan settingan manual robot.txt nya. Selanjutnya meminta kembali untuk divalidasi oleh google.

Kami sedang memvalidasi perbaikan masalah Cakupan Anda untuk situs https://www.armaila.com/

24 Agu 2021

Yth. pemilik https://www.armaila.com/,

Google mulai memvalidasi perbaikan masalah Cakupan di situs Anda. Khususnya, kami memeriksa ‘Diindeks, meski diblokir oleh robots.txt’, yang saat ini memengaruhi halaman 21.

Validasi memerlukan waktu beberapa hari; kami akan mengirimkan pesan kepada Anda saat proses selesai. Anda dapat memantau proses pengujian dengan membuka link di bawah.

Selanjutnya akan ditunggu hasil dari validasi ini.

NB:

Setelah membuat file robot.txt diatas. ternyata admin lupa nyalakan tombol aktifkan robots.txt custom yang berujung pada kegagalan.

Update 25 Agustus 2021

Validasi gagal - Dimulai: 24/08/21 Gagal: 24/08/21

Ujicoba perbaikan google search console selanjutnya adalah mencoba mengikuti panduan yang ada di web jasa perbaikan google search console errorsugeng dengan menggunakan tag header robot untuk memberitahu Google supaya tidak mengindex halaman label dan pencarian.

Dengan melakukan ini, maka Armaila harus Modifikasi tag meta robot langsung di dalam template dari

<b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>

<meta content='noindex/nofollow' name='robots'/>

<meta content='noindex/nofollow' name='googlebot'/>

<b:elseif cond='data:view.isSingleItem or data:view.isHomepage'/>

<meta content='index/follow' name='robots'/>

<meta content='index/follow' name='googlebot'/>

</b:if>

menjadi:

<!-- Meta Robot -->

<b:if cond="data:view.isSearch or data:view.isArchive">

    <meta content='noindex, noarchive' name='robots'/>

</b:if>

Untuk melakukan langkah ini. harus mengapus perintah Disallow: /search pada file robots.txt. Jadi file robots.txt akan dibuat kembali dengan isi seperti berikut ini:

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Allow: /

Sitemap: https://www.armaila.com/sitemap.xml

untuk "Aktifkan robots.txt kustom" posisi saya aktifkan sementara "Aktifkan tag header robot kustom" non aktif

Selanjutnya "mulai validasi baru" pada malam ini 26 agustus 2021

Semoga upaya validasi pada "26 agustus 2021" akan menyelesaikan permasalahan "Diindeks, meski diblokir oleh robots.txt" ini.

Advertisement