Beranda / teknologi

Cloudflare Mulai Hadang Bot AI, Kini Harus Bayar Jika Ingin Crawl Website

Perkembangan teknologi kecerdasan buatan (AI) yang semakin pesat membuat banyak perusahaan terus mengumpulkan data dari beragam website untuk melatih model mereka. Namun kini, langkah tersebut tidak lagi sepenuhnya gratis—setidaknya bagi website yang menggunakan layanan Cloudflare.

Cloudflare resmi merilis fitur baru bernama Pay Per Crawl, sebuah sistem monetisasi yang memungkinkan pemilik website mendapatkan pembayaran dari bot AI yang ingin mengakses dan mengambil konten dari situs mereka. Dengan fitur ini, perusahaan AI seperti OpenAI, Google, Anthropic dan lainnya wajib membayar sebelum melakukan crawling ke website yang dilindungi oleh Cloudflare.

Apa itu Pay Per Crawl?

Pay Per Crawl adalah bagian dari pembaruan fitur keamanan dan kontrol konten di Cloudflare, yang terintegrasi langsung ke dalam dashboard AI Audit. Sistem ini memberikan opsi baru bagi pemilik website untuk mengatur bagaimana bot AI boleh mengakses konten mereka.

Melalui fitur ini, pemilik website dapat memilih:

  • ✔️ Mengizinkan bot AI mengakses konten secara gratis

  • ✔️ Menetapkan biaya per kunjungan (per request/per crawl)

  • ✔️ Memblokir akses bot AI sepenuhnya

Menariknya, tarif yang dikenakan bisa ditentukan langsung oleh pemilik website, dan pembayaran akan diproses melalui Cloudflare sebelum disalurkan sebagai pendapatan.

Kenapa Fitur Ini Hadir Sekarang?

Dalam beberapa tahun terakhir, konten website—terutama media berita—banyak diakses bukan oleh manusia, tetapi oleh bot AI yang mengumpulkan data untuk pelatihan model atau penyusunan jawaban.

Banyak pemilik website mengeluhkan:

  • Menurunnya traffic dari pembaca manusia

  • Tidak adanya kompensasi dari perusahaan AI yang memanfaatkan konten mereka

  • Tingginya biaya server akibat aktivitas crawling yang intens

Dengan Pay Per Crawl, Cloudflare ingin memberikan kontrol dan kompensasi yang adil kepada pemilik konten.

Media Besar Sudah Ikut Uji Coba

Walau masih dalam tahap closed beta, beberapa perusahaan media raksasa dunia telah bergabung untuk menguji fitur ini. Beberapa di antaranya adalah:

  • Conde Nast

  • Time

  • The Associated Press

  • The Atlantic

  • Fortune

  • Adweek

Langkah ini disebut sebagai salah satu strategi baru untuk menjaga nilai konten digital agar tidak dimanfaatkan bebas tanpa izin.

Aktif Secara Default untuk Semua Website Cloudflare

Yang menarik, fitur Pay Per Crawl akan aktif secara otomatis (default) di seluruh website yang menggunakan layanan Cloudflare. Artinya, semua bot AI secara teknis diblokir hingga melakukan pembayaran atau mendapatkan izin.

Namun jika pemilik website ingin tetap membiarkan bot AI mengakses situs mereka secara gratis, fitur ini tetap dapat dinonaktifkan secara manual.

Apakah Ini Akan Mengubah Lanskap Data AI?

Banyak pengamat teknologi menilai bahwa kebijakan Cloudflare ini dapat menjadi awal dari era baru ekonomi data, di mana konten internet tidak lagi bebas digunakan sebagai sumber pelatihan AI tanpa kompensasi.

Jika model ini sukses, bukan tidak mungkin perusahaan hosting maupun platform CMS lain seperti WordPress, Wix, atau Blogger akan mengikuti langkah serupa.

Sementara itu, perusahaan AI mungkin harus mulai menghitung biaya operasional baru—tidak hanya server dan komputasi, tetapi juga lisensi dataset legal dan berbayar.

Langkah Cloudflare ini menjadi sinyal perubahan besar dalam industri internet dan AI. Dengan adanya Pay Per Crawl, pemilik website kini memiliki kendali penuh untuk:

  • Mengatur akses bot AI

  • Memonetisasi konten digital

  • Menentukan siapa saja yang boleh memanfaatkan data mereka

Program ini masih dalam tahap beta, namun minat global menunjukkan bahwa mekanisme ini berpotensi menjadi standar baru dalam perlindungan konten digital di era AI.