Temuan utama: keberadaan kutipan dan kualitas bukti adalah hal berbeda
Kutipan mencatat hubungan antara jawaban dan halaman. Hubungan itu dapat kuat, sebagian, atau keliru. Sebuah halaman mungkin membuktikan bahwa perusahaan menawarkan layanan tanpa membuktikan bahwa perusahaan itu pilihan terbaik, tersedia secara lokal, atau sesuai bagi orang tertentu. Kesimpulan tambahan berasal dari jawaban, belum tentu dari sumbernya.
Perbedaan ini menjelaskan mengapa jumlah kutipan tidak dapat sekaligus menjadi skor kepercayaan. Lima tautan bisa mendukung lima fakta berbeda, mengulang satu pengumuman asli, atau menyertakan halaman yang tidak mendukung kalimat di dekatnya. Situasi tersebut terlihat serupa dalam dasbor yang menghitung URL. Namun, maknanya berbeda bagi pembaca yang memutuskan apakah akan menghubungi bisnis. Riset berikut membuat beberapa bagian kesenjangan itu dapat diukur.
Temuan 1: jawaban yang lancar secara historis pernah memuat pernyataan tanpa dukungan
Studi Stanford tahun 2023 oleh Nelson F. Liu, Tianyi Zhang, dan Percy Liang mengevaluasi empat mesin pencarian generatif yang tersedia saat itu. Dalam audit tersebut, 51,5% kalimat yang dihasilkan didukung sepenuhnya oleh kutipan, dan 74,5% kutipan mendukung kalimat yang terkait dengannya. Peneliti memisahkan kelengkapan dukungan dari ketepatan tautan yang dilampirkan pada pernyataan individual.
Itu adalah hasil historis untuk Bing Chat, NeevaAI, Perplexity, dan YouChat, bukan skor versi terkini. Nilai yang tetap relevan adalah pembedaan dua bentuk kegagalan: jawaban dapat membiarkan klaim tanpa dukungan, atau memasang kutipan yang tidak membenarkannya. Lebih banyak tautan mungkin memperbaiki yang pertama tanpa menyelesaikan yang kedua. Studi ini tidak menetapkan seberapa sering salah satu kegagalan terjadi pada produk perusahaan tertentu saat ini.
Temuan 1: jawaban yang lancar secara historis pernah memuat pernyataan tanpa dukungan
Kalimat yang sepenuhnya didukung sitasi
Sitasi yang mendukung kalimat terkait
Studi tahun 2023 terhadap empat mesin yang tersedia saat itu. Dukungan kalimat dan presisi kutipan merupakan ukuran berbeda; bukan tolok ukur produk terkini.
Liu, Zhang and Liang: Evaluating Verifiability in Generative Search EnginesTemuan 2: pencarian sumber asli dapat gagal bahkan dengan kutipan teks yang persis
Studi Tow Center pada Maret 2025 menguji delapan alat AI berkemampuan pencarian dengan kutipan teks dari 200 artikel berita: 20 penerbit, masing-masing sepuluh artikel, menghasilkan 1.600 kueri di seluruh alat. Peneliti meminta artikel, penerbit, dan URL. Lebih dari 60% jawaban mengandung kesalahan. Kutipan teks dipilih sehingga pencarian Google tradisional menampilkan sumber asli di antara tiga hasil pertamanya.
Ini adalah tugas pencarian yang menantang tetapi spesifik, bukan pengujian semua pertanyaan faktual. Studi juga mengamati atribusi ke versi sindikasi atau salinan, serta tautan rekaan atau rusak. Makna bisnisnya adalah bahwa menghasilkan karya asli tidak menjamin memperoleh kutipan atau kunjungan. Perusahaan yang dikutip dalam liputan dan penerbit yang membuatnya dapat digambarkan melalui halaman lain. Hasil tersebut adalah bukti kegagalan pada waktu tertentu, bukan bukti bahwa semua sistem masa kini berperilaku sama.
Temuan 3: publikasi yang dapat ditemukan tidak sama dengan pengetahuan terverifikasi
Pracetak Oktober 2026 oleh Qi Liu dan rekan-rekan menganalisis 17.211 kejadian kutipan di sepuluh platform pencarian AI dan 6.356 domain sumber. Dalam eksperimen publikasi terkontrol, delapan platform mengutip konsep rekaan dalam tujuh hari. Eksperimen melacak penanda khas ke publikasi para peneliti, bukan sekadar melihat bahwa jawaban telah berubah.
Ini adalah bukti adanya jalur dari konten publik menuju jawaban yang dihasilkan, bukan anjuran untuk mengarang klaim. Penulis menyebutkan batasannya: panel pertanyaan yang dirancang, pilihan topik untuk memungkinkan penelusuran atribusi, dan pengukuran dari kegiatan Maret–April 2026. Angka tepatnya dapat berubah. Temuan pentingnya adalah bahwa muncul di web yang diambil sistem dapat menghasilkan kutipan tanpa membuat klaim dasarnya benar. Keberhasilan kutipan saja akan memberi penghargaan pada hasil yang salah dalam eksperimen ini.
Temuan 4: daftar sumber itu sendiri dapat berubah antar pengamatan
Rilis Muck Rack dan Generative Pulse pada Oktober 2026 menggabungkan dataset pemantauan luas dengan panel September terpisah yang berisi 1.020 prompt konsumen tanpa merek di empat sistem. Dalam pengujian ulang pada hari yang sama, rilis itu melaporkan tumpang tindih domain kutipan sebesar 41% untuk ChatGPT, 45% untuk Gemini, dan 94% untuk Perplexity. Ini adalah temuan yang dilaporkan penerbit, bukan audit independen terhadap vendor pemantauan.
Tumpang tindih domain mengukur keterulangan pemilihan sumber, bukan keakuratan salah satu jawaban. Daftar yang berubah tetap dapat mendukung kesimpulan benar yang sama; daftar stabil dapat berulang kali mendukung kesalahan. Berbagai bagian dataset juga tidak boleh digabung menjadi satu sampel yang mewakili semua pencarian. Rilis tersebut mendukung temuan yang lebih terbatas: satu jawaban yang ditangkap mungkin tidak menggambarkan dengan baik apa yang akan dikutip sistem yang sama pada kesempatan berikutnya.
Studi-studi ini menyelidiki masalah berbeda, bukan satu tingkat kesalahan universal
Hasilnya tidak dapat dirata-ratakan menjadi persentase keandalan AI secara keseluruhan. Dukungan kalimat, pencarian artikel yang benar, penerimaan konsep rekaan, dan keterulangan domain memiliki penyebut berbeda. Hasil juga berasal dari tahun, sistem, dan rangkaian pertanyaan yang berbeda. Memperlakukannya sebagai ukuran yang sama akan membuat riset kurang berguna justru ketika bisnis membutuhkan kejelasan.
Bersama-sama, studi itu mengungkap empat pertanyaan berbeda tentang jawaban komersial: apakah pernyataan penting didukung, apakah penghargaan dilekatkan pada sumber yang benar, apakah kewenangan sumber beralasan, dan apakah pengamatan dapat diulang? Bisnis mungkin memiliki masalah pada satu dimensi dan tidak pada dimensi lainnya. Hal itu menciptakan konsekuensi berbeda bagi reputasi, lalu lintas yang berguna, dan kualitas percakapan penjualan berikutnya.
| Masalah bukti | Yang bisa keliru | Konsekuensi komersial |
|---|---|---|
| Tautan tidak membenarkan klaim di dekatnya | Pembeli mempelajari janji produk yang tidak didukung | |
| Karya asli dianggap berasal dari pihak lain | Pencipta kehilangan pengakuan atau lalu lintas yang dapat dikenali | |
| Materi yang dipublikasikan dianggap fakta mapan | Informasi lemah tampak memiliki kewenangan | |
| Pertanyaan sama menghasilkan sumber berbeda | Satu tangkapan layar melebih-lebihkan kestabilan posisi persaingan |
Lima tautan berulang tidak menciptakan lima konfirmasi independen
Bayangkan pengumuman produk fiktif yang diulang empat penerbit lalu dikutip oleh jawaban AI. Jawaban memiliki beberapa URL, tetapi klaim kinerja tetap berasal dari satu perusahaan. Halaman lain mungkin menambahkan pelaporan atau pengujian independen; mungkin pula hanya mengulang pengumuman. Jumlah tautan saja tidak menunjukkan mana yang terjadi.
Ini penting untuk klaim seperti waktu yang dihemat, biaya akuisisi lebih rendah, atau implementasi lebih cepat. Angka yang sama dapat menyebar jauh melampaui penjelasan tentang siapa yang mengukurnya dan dalam kondisi apa. Analisis saya adalah bahwa pengulangan dapat meningkatkan visibilitas tanpa mengubah kekuatan bukti. Karena itu, banyak penyebutan dapat tetap berasal dari satu sumber yang memiliki kepentingan komersial. Ini alasan untuk mempertahankan atribusi, bukan alasan untuk mengabaikan setiap studi kasus perusahaan.
Kesalahan yang paling berdampak dapat berupa perubahan kecil pada cakupan
Contoh perangkat lunak fiktif menjelaskan masalahnya: sumber mengatakan integrasi tersedia pada satu paket perusahaan, sementara jawaban mengatakan produk tersebut menyertakan integrasi itu. Nama produk dan integrasi sama-sama benar. Kondisi yang hilang tetap dapat menghasilkan evaluasi yang tidak sesuai, calon pelanggan kecewa, dan waktu penjualan terbuang. Skor pencocokan entitas sederhana tidak akan menangkap perbedaannya.
Dalam layanan berbasis lokasi, kesalahan setara adalah melekatkan kemampuan grup pada setiap cabang. Halaman perusahaan yang benar bukan bukti tentang lokasi individual. Ini adalah contoh ilustratif, bukan frekuensi yang diukur. Contoh tersebut menjelaskan mengapa penilaian keakuratan yang berguna secara komersial perlu mempertimbangkan cakupan pernyataan—paket, tempat, tanggal, kelayakan, dan syarat harga—bukan hanya apakah merek yang tepat muncul.
Temuan 5: pelaporan kutipan platform sengaja tidak sampai menjadi bukti bisnis
Pembaruan AI Performance Bing pada Juni 2026 mendefinisikan pangsa kutipan sebagai bagian kutipan sebuah situs untuk kueri pengambilan informasi pendukung. Bing secara tegas menyatakan bahwa ukuran itu bersifat observasional, tidak menampilkan domain pesaing, bukan pangsa lalu lintas, dan tidak memberi skor kualitas. Perbandingan periodenya dapat menunjukkan perubahan, sementara dokumentasi menyebut beberapa kemungkinan penyebab.
Batas tersebut berguna. Platform melaporkan penggunaan sumber, bukan mengesahkan klaim pada setiap halaman atau nilai bisnis sebuah jawaban. Kesimpulan saya adalah bahwa pelaporan visibilitas dan peninjauan klaim menjawab pertanyaan yang saling melengkapi. Yang satu menunjukkan di mana bukti digunakan. Yang lain menunjukkan apakah penjelasan yang dihasilkan berguna dan akurat bagi pembeli yang dituju. Keduanya tidak otomatis memberikan hasil komersial akhir.
Arti temuan ini bagi sebuah bisnis
Peluangnya bukan sekadar memperoleh lebih banyak kutipan. Peluangnya adalah membuat fakta yang tepat tersedia saat sistem menjelaskan bisnis dan memahami kesenjangan antara paparan, penafsiran, dan langkah pelanggan berikutnya. Ini sangat berharga untuk penawaran kompleks, ketika satu kondisi yang hilang dapat membuat jawaban yang tampak positif tidak berguna secara komersial.
Saya bekerja di Searchable. Dalam sesi strategi, saya menghubungkan jawaban yang disimpan dan sumbernya dengan keputusan pembeli yang sebenarnya: apa yang digambarkan dengan benar, apa yang masih tidak pasti, dan temuan mana yang mengubah pekerjaan. Riset mendukung pembacaan lebih teliti itu. Riset tidak mendukung perlakuan terhadap grafik kutipan yang naik sebagai bukti keakuratan atau pendapatan.
Cakupan riset
Ditinjau 3 November 2026. Artikel ini menyintesis studi yang dipublikasikan, rilis riset vendor, dan definisi pelaporan resmi. Artikel tidak mengulang eksperimen tersebut. Hasil model historis diberi label tanggal; makalah Oktober diperlakukan sebagai pracetak. Contoh fiktif menjelaskan konsekuensi bisnis dan bukan pengamatan pelanggan. Tidak ada skor keakuratan gabungan yang dihitung dari pengujian yang tidak sebanding.
Sumber dan catatan
Sumber ditinjau: 3 November 2026. Rencana dan contoh merupakan saran, bukan hasil pelanggan yang diukur. Saya bekerja di Searchable. Tautan produknya mencerminkan hubungan tersebut.
1
Searchable