Googlebot adalah perayap web resmi milik Google yang bertugas mengumpulkan konten dari situs web kamu agar dapat diproses dan ditampilkan di hasil pencarian. Ketika kamu memindahkan situs ke Content Delivery Network (CDN) atau mengaktifkan Web Application Firewall (WAF), kesalahan setelan keamanan sering memblokir perayap ini secara tidak sengaja sehingga halaman gagal masuk ke indeks.
Berdasarkan pengarahan teknis Google yang dirilis pada November 2026 melalui laporan di Search Engine Land (https://searchengineland.com/google-seo-advice-on-moving-to-a-cdn-content-delivery-network-501405), pengelola web disarankan berhati-hati saat menyaring lalu lintas bot. Menurut laporan itu, pindah ke CDN bisa memicu lonjakan perayapan. Jika tim developer lalu memasang proteksi bot, Googlebot bisa ikut terblokir.

Kebutuhan Sebelum Memeriksa Akses Bot
Sebelum kamu mengubah aturan di tingkat jaringan atau server, siapkan beberapa hal berikut:
- Akses administrator ke panel CDN atau WAF yang aktif pada domain kamu.
- Akun Google Search Console yang sudah terverifikasi untuk melihat laporan cakupan indeks.
- Salinan log server terbaru untuk melihat kode respons yang diterima bot saat mengunjungi situs.
Saran Resmi Google Saat Menggunakan CDN untuk Googlebot
Google memberikan tiga panduan utama bagi pengelola web yang memanfaatkan CDN agar proses perayapan tetap berjalan normal:
- Panaskan cache terlebih dahulu. Sebelum mengalihkan seluruh lalu lintas publik ke CDN baru, pastikan halaman-halaman penting sudah tersimpan di cache CDN (pre-warming). Cara ini mencegah lonjakan permintaan mendadak ke server asal saat perayap mulai memindai ribuan URL.
- Kecualikan perayap resmi dari WAF dan CAPTCHA. Jangan pernah menyajikan tantangan interaktif seperti CAPTCHA atau halaman verifikasi JavaScript kepada bot mesin pencari. Mesin pencari otomatis tidak dapat memecahkan tantangan visual tersebut, sehingga halaman kamu akan dicatat sebagai halaman yang tidak dapat diakses.
- Gunakan kode HTTP 429 atau 503 saat server kelebihan beban. Jika server asal atau edge CDN sedang menampung terlalu banyak beban, kembalikan kode status 429 (Too Many Requests) atau 503 (Service Unavailable). Kode ini meminta perayap Google memperlambat perayapan untuk sementara. URL yang sudah diindeks tetap dipertahankan, tetapi akhirnya dihapus jika kode ini terus muncul. Jangan gunakan kode 403 (Forbidden) untuk membatasi perayapan. Menurut dokumentasi kode status HTTP Google, kode 4xx selain 429 tidak memengaruhi frekuensi perayapan, dan URL terindeks yang menampilkan 4xx akan dihapus dari indeks.
Membedakan Akses Browser dan Akses Perayap
Sebuah halaman bisa terbuka lancar di browser seluler maupun desktop, tetapi Google Search Console melaporkan kegagalan pengindeksan. Masalah ini timbul karena WAF menerapkan aturan proteksi yang menolak bot otomatis di lapis terluar jaringan.
Firewall jaringan menolak permintaan HTTP sebelum file robots.txt sempat dibaca oleh perayap. Akibatnya, instruksi izin yang kamu tulis di file robots.txt menjadi tidak relevan karena koneksi sudah diputus lebih awal oleh sistem keamanan.
Selain itu, nama user-agent yang tertera pada header permintaan HTTP tidak cukup dijadikan bukti identitas. Siapa pun dapat memalsukan nama perayap di header mereka. Oleh karena itu, gunakan verifikasi perayap resmi berbasis DNS balik (reverse DNS lookup) atau gunakan daftar rentang IP resmi Google saat mengatur daftar putih pada firewall kamu. Panduan selengkapnya mengenai verifikasi ini dapat kamu baca di akses crawler AI search.
Perlu diingat juga bahwa token Google-Extended memiliki fungsi yang berbeda dengan perayap utama mesin pencari. Memblokir Google-Extended mengatur apakah konten kamu boleh dipakai untuk melatih model Gemini dan untuk grounding di Gemini Apps dan Vertex AI, bukan perayapan untuk Google Search. Jika kamu ingin memastikan kondisi indeks suatu halaman, ikuti langkah-langkah di panduan cek indexing.
Kesalahan Umum dalam Pengaturan Keamanan CDN
Beberapa kekeliruan teknis yang sering terjadi di tingkat server dan CDN meliputi:
- Mengembalikan status 403 Forbidden saat server sibuk: Google memperlakukan 403 seperti konten yang tidak ada, sehingga URL yang sudah diindeks bisa dihapus dari indeks.
- Menyaring bot hanya berdasarkan teks string user-agent: Langkah ini membuat WAF mudah dibobol oleh bot palsu atau justru salah menyaring bot asli.
- Menyalakan fitur proteksi bot global tanpa daftar pengecualian: Mengaktifkan mode proteksi ketat tanpa memberi izin khusus bagi perayap terverifikasi akan langsung memblokir seluruh perayapan terjadwal.
Pertanyaan yang Sering Diajukan
Bagaimana cara memastikan Googlebot tidak diblokir oleh WAF?
Kamu perlu memeriksa log aktivitas WAF di panel CDN kamu dan menyaring catatan pemblokiran berdasarkan alamat IP resmi mesin pencari. Pastikan sistem keamanan kamu menggunakan metode verifikasi DNS balik untuk memvalidasi bot asli, lalu masukkan perayap terverifikasi ke daftar pengecualian aturan keamanan agar permintaan mereka tidak terhadang tantangan verifikasi.
Apakah Google-Extended memengaruhi indeks halaman di Google Search?
Tidak. Google-Extended adalah kontrol mandiri yang digunakan pengelola situs untuk menentukan apakah konten boleh digunakan dalam produk AI terpisah. Memblokir token tersebut di robots.txt tidak membatasi perayap utama Google dalam menjelajahi, membaca, dan memasukkan halaman situs kamu ke dalam hasil pencarian web biasa.
Mengapa server harus mengirimkan kode 429 atau 503 daripada 403 saat kelebihan beban?
Kode 429 dan 503 menandakan masalah kapasitas sementara sehingga perayap memahami bahwa server sedang sibuk dan akan mencoba mengunjungi kembali nanti secara bertahap. Sebaliknya, Google memperlakukan 403 seperti kode 4xx lain: konten dianggap tidak ada, dan URL yang sudah diindeks dihapus dari indeks.
Mengapa halaman yang normal di browser bisa gagal diakses perayap?
Browser manusia menjalankan mesin JavaScript lengkap dan lolos dari uji tantangan bot CDN. Sementara itu, sistem keamanan CDN kerap mengarahkan perayap otomatis ke halaman verifikasi CAPTCHA. Karena bot mesin pencari tidak menyelesaikan verifikasi interaktif tersebut, bot hanya menerima penolakan akses dan mencatat bahwa konten halaman tidak dapat dijangkau.
Tinjau aturan WAF bersama tim teknis situs kamu, lalu konfirmasi akses perayap menggunakan alat URL Inspection di Google Search Console. Kamu juga dapat memantau pergerakan posisi halaman situsmu secara teratur melalui paket rank tracker.
Keep reading