Perplexity AI Diduga Crawling Diam-diam untuk Lewati Blokir
Perusahaan AI pencarian, Perplexity, kembali menjadi sorotan setelah Cloudflare melaporkan dugaan aktivitas “stealth crawling” untuk mengakses situs web yang seharusnya diblokir. Menurut laporan tersebut, Perplexity disebut menyamarkan identitas botnya dan menggunakan teknik pemalsuan informasi guna menghindari sistem perlindungan situs.
Tuduhan ini menambah daftar kekhawatiran yang sebelumnya sudah muncul terkait cara kerja perusahaan AI dalam mengakses dan mengumpulkan konten tanpa izin eksplisit dari pemilik situs.
Perplexity AI Menyamar demi Akses Konten
Cloudflare, perusahaan penyedia infrastruktur internet global, menyatakan bahwa sejumlah kliennya mengeluhkan masih adanya akses dari bot milik Perplexity ke situs mereka, meskipun mereka telah memasukkan batasan dalam robots.txt dan menerapkan aturan pemblokiran lewat Web Application Firewall (WAF).
Sebagai pengujian, Cloudflare menciptakan domain uji dengan aturan pembatasan yang secara jelas menolak bot dari Perplexity. Hasilnya, pada awalnya bot dari Perplexity memang muncul menggunakan identitas yang dikenali seperti “PerplexityBot” atau “Perplexity-User.” Namun saat mendeteksi pembatasan, bot tersebut dilaporkan berubah strategi.
Cloudflare mengklaim bahwa Perplexity mengganti user agent-nya menjadi seperti Google Chrome di perangkat macOS. User agent adalah data yang biasanya memberitahu situs mengenai jenis perangkat atau browser yang digunakan pengunjung, dalam kasus ini, digunakan untuk menyamarkan bot agar terlihat seperti pengguna biasa.
Tak hanya itu, Perplexity juga diduga menggunakan alamat IP yang berotasi secara dinamis dan tidak tercantum dalam daftar resmi bot mereka. Bahkan, perusahaan ini dilaporkan mengubah jaringan sistem otonom (ASN) untuk melewati filter pemblokiran.
Praktik Crawling Perplexity AI Meresahkan Banyak Pihak
Aktivitas yang dijabarkan oleh Cloudflare disebut terjadi secara luas: melibatkan puluhan ribu domain dan jutaan permintaan setiap harinya. Hal ini memunculkan kekhawatiran bahwa perusahaan-perusahaan AI seperti Perplexity bisa mengakses dan menggunakan data dari situs-situs yang sebenarnya telah memilih untuk tidak dibaca oleh mesin AI.
Isu ini bukan pertama kalinya muncul. Tahun lalu, Perplexity juga dikritik karena diduga mengakses konten dari balik paywall dan mengabaikan batasan dalam robots.txt. Saat itu, CEO Perplexity, Aravind Srinivas, menyalahkan pihak ketiga yang disebut sebagai penyedia crawler eksternal.
Kini, dengan laporan Cloudflare yang menyebut pola serupa terjadi kembali, keraguan terhadap komitmen transparansi dan etika perusahaan menjadi semakin besar.
Tanggapan Perplexity AI dan Langkah Cloudflare
Menanggapi laporan tersebut, juru bicara Perplexity menyebut bahwa klaim dari Cloudflare merupakan “aksi mencari perhatian publik” dan menyatakan bahwa terdapat banyak kesalahpahaman dalam blog resmi yang diterbitkan. Namun, perusahaan tidak membantah secara rinci dugaan teknik penyamaran yang disebutkan.
Sebagai respons, Cloudflare telah mencabut status “bot terverifikasi” milik Perplexity dan meluncurkan metode khusus untuk memblokir praktik stealth crawling tersebut. Langkah ini menandai upaya Cloudflare untuk memperkuat perlindungan terhadap situs-situs yang tidak ingin datanya digunakan oleh model AI tanpa izin.
CEO Cloudflare, Matthew Prince, dikenal sebagai salah satu suara yang paling kritis terhadap industri AI, terutama dalam hal penggunaan data penerbit konten. Baru-baru ini, perusahaan mulai menyediakan fitur yang memungkinkan situs web meminta kompensasi dari perusahaan AI yang ingin melakukan crawling, serta secara default memblokir bot AI dari mengakses situs-situs klien mereka.
Tantangan Etika dan Masa Depan Industri AI
Kasus ini membuka kembali perdebatan tentang batasan etika dalam pengembangan dan pemanfaatan AI, terutama yang berhubungan dengan pengambilan data dari sumber publik di internet. Meskipun data di web sering kali dapat diakses secara bebas oleh manusia, penggunaan data tersebut oleh mesin pembelajaran dengan skala besar menimbulkan pertanyaan baru: siapa yang berhak atas konten, dan bagaimana seharusnya izin diberikan?
Seiring makin maraknya penggunaan AI di berbagai bidang, pengawasan terhadap bagaimana data dikumpulkan menjadi semakin penting. Banyak pihak mendorong perlunya standar yang lebih ketat dan transparansi yang lebih tinggi, terutama dari perusahaan yang mengembangkan teknologi dengan potensi dampak luas.
Kesimpulan
Laporan terbaru dari Cloudflare memperlihatkan bahwa pertarungan atas data dan transparansi di era AI belum usai. Dugaan bahwa Perplexity menyamarkan identitas botnya untuk menghindari pemblokiran situs menjadi pengingat bahwa tidak semua inovasi berjalan sejalan dengan etika dan persetujuan pemilik konten.
Meskipun Perplexity membantah tuduhan secara langsung, langkah-langkah pencegahan dari Cloudflare menunjukkan adanya kekhawatiran yang serius. Ke depan, tantangan utama bagi industri AI adalah membangun kepercayaan melalui keterbukaan, penghormatan terhadap preferensi situs web, dan komitmen terhadap penggunaan data yang etis. Tanpa itu, perkembangan teknologi bisa jadi akan terus diiringi ketegangan antara kecanggihan mesin dan hak pemilik konten.
Ingin tahu update seputar tren digital lainnya? Temukan inspirasi teknologi harian di Instagram @Wesclic dan lihat bagaimana inovasi mendorong industri bergerak lebih maju. Bila tertarik menerapkan solusi digital serupa, Webklik juga menyediakan layanan pembuatan website profesional yang dapat disesuaikan dengan kebutuhan bisnis atau instansi Anda.
