Jawaban singkat
Tentukan platform. Cek URL publik, aturan crawler, dan firewall. Crawler pencarian dan pelatihan dapat memiliki kontrol terpisah. Akses tidak menjamin indexing, pemilihan halaman, atau kutipan.
Yang akan Anda pelajari
Anda akan mengecek akses halaman publik untuk crawler pencarian AI. Anda akan membedakan akses pencarian dari penggunaan untuk pelatihan model.
Minta bantuan pengelola website untuk pengaturan server atau firewall. Panduan ini tidak mengharuskan Anda mengizinkan pelatihan model.
Tentukan platform dulu
Tidak ada satu aturan crawler untuk semua produk. Tentukan tempat informasi publik Anda perlu tersedia.
| Platform | Pertanyaan akses |
|---|---|
| Fitur generatif Google Search | Apakah halaman bisa diindeks dan boleh tampil sebagai snippet? |
| ChatGPT search | Apakah OAI-SearchBot bisa mengambil isi halaman? |
| Perplexity search | Apakah PerplexityBot bisa mengambil isi halaman? |
Akses adalah salah satu syarat. Akses tidak menjamin halaman dipilih atau dikutip.
Bedakan pencarian dan pelatihan
OpenAI menjelaskan OAI-SearchBot sebagai crawler pencarian. GPTBot terkait penggunaan untuk pelatihan. Aturan robots.txt keduanya dapat diatur terpisah.
Perplexity menjelaskan PerplexityBot sebagai crawler pencarian. Dokumentasinya menyatakan crawler tersebut tidak mengumpulkan konten untuk pelatihan foundation model.
Kunjungan atas permintaan pengguna dapat memakai agent lain. Jangan menganggap satu aturan mengendalikan semua pengambilan halaman.
Google-Extended berbeda dari Googlebot. Aturannya tidak mengendalikan masuknya halaman ke Google Search.
Baca dokumentasi terbaru sebelum mengubah aturan.
Cek halaman publik
- Buka URL tanpa login.
- Pastikan halaman menampilkan isi yang benar.
- Baca robots.txt website.
- Cek aturan untuk crawler yang relevan.
- Periksa aturan indexing dan snippet jika berlaku.
- Minta pengelola memeriksa firewall dan log crawler.
Halaman yang terbuka di browser belum tentu terbuka bagi crawler. Firewall bisa menolak permintaan sebelum aturan robots.txt berpengaruh.
Gunakan metode verifikasi crawler dari dokumentasi platform. Nama user-agent saja tidak membuktikan identitas permintaan.
Contoh akses untuk pencarian
Pemilik bengkel ingin halaman layanan tersedia bagi ChatGPT search. Ia memilih memblokir GPTBot.
Pengelola mengecek OAI-SearchBot secara terpisah. Ia juga memeriksa firewall dan respons halaman.
Hasilnya adalah keputusan akses. Hasil itu tidak membuktikan bahwa ChatGPT sudah mengindeks URL atau merekomendasikan bengkel.
Pastikan isi bisa diambil
Letakkan fakta penting dalam isi halaman yang bisa diakses. Login atau pemeriksaan browser dapat menghalangi pengambilan halaman.
Jangan menganggap setiap crawler menjalankan JavaScript seperti browser. Jika jawaban utama muncul setelah interaksi, minta pengembang memeriksa hasil pengambilan.
Google dapat merender JavaScript, tetapi prosesnya punya batas. Gunakan alat platform untuk mengecek halaman yang sebenarnya.
Cek pengaturan Google Search
Google juga mendokumentasikan kontrol penyertaan fitur generatif Search. Cek pengaturan yang tersedia pada properti Anda saat menyelidiki tayangan AI yang hilang.
Pilihan pengecualian Search dan pilihan pelatihan memiliki tujuan berbeda. Baca penjelasan pengaturan sebelum mengubahnya.
Simpan hasil pemeriksaan
Catat platform, URL, aturan, tanggal, dan hasil. Simpan alasan setiap perubahan akses.
Untuk Google, lanjutkan ke cek indexing. Untuk hasil jawaban, gunakan pengukuran visibilitas AI.