RisetRiset kutipan AI

Kutipan bukan bukti: apa yang diungkap riset tentang jawaban AI

Lima temuan riset menjelaskan klaim tanpa dukungan, tautan sumber yang keliru, daftar kutipan yang berubah, dan mengapa informasi perusahaan dapat terlihat tanpa digambarkan dengan benar.

Diterjemahkan dengan ChatGPT. Belum ditinjau editor penutur asli. Judul sumber dan tangkapan layar tetap dalam bahasa aslinya.Baca versi bahasa Inggris
Jawaban singkat

Kutipan AI membuat jawaban lebih mudah diperiksa, tetapi tautan yang terlihat tidak membuktikan keakuratan, independensi, atau rekomendasi. Studi tentang asisten pencarian awal, pencarian berita, dan perilaku kutipan terkini mengungkap jenis kegagalan yang berbeda. Karena itu, pertanyaan komersialnya lebih spesifik daripada “Apakah kita dikutip?”: klaim apa yang dilekatkan pada bisnis, bukti mana yang mendukungnya, dan apa yang dipelajari pembeli darinya?

  1. 01Sumber dipilih
  2. 02Klaim ditulis
  3. 03Tautan dilampirkan
  4. 04Bisnis ditafsirkan

Temuan utama: keberadaan kutipan dan kualitas bukti adalah hal berbeda

Kutipan mencatat hubungan antara jawaban dan halaman. Hubungan itu dapat kuat, sebagian, atau keliru. Sebuah halaman mungkin membuktikan bahwa perusahaan menawarkan layanan tanpa membuktikan bahwa perusahaan itu pilihan terbaik, tersedia secara lokal, atau sesuai bagi orang tertentu. Kesimpulan tambahan berasal dari jawaban, belum tentu dari sumbernya.

Perbedaan ini menjelaskan mengapa jumlah kutipan tidak dapat sekaligus menjadi skor kepercayaan. Lima tautan bisa mendukung lima fakta berbeda, mengulang satu pengumuman asli, atau menyertakan halaman yang tidak mendukung kalimat di dekatnya. Situasi tersebut terlihat serupa dalam dasbor yang menghitung URL. Namun, maknanya berbeda bagi pembaca yang memutuskan apakah akan menghubungi bisnis. Riset berikut membuat beberapa bagian kesenjangan itu dapat diukur.

Temuan 1: jawaban yang lancar secara historis pernah memuat pernyataan tanpa dukungan

Studi Stanford tahun 2023 oleh Nelson F. Liu, Tianyi Zhang, dan Percy Liang mengevaluasi empat mesin pencarian generatif yang tersedia saat itu. Dalam audit tersebut, 51,5% kalimat yang dihasilkan didukung sepenuhnya oleh kutipan, dan 74,5% kutipan mendukung kalimat yang terkait dengannya. Peneliti memisahkan kelengkapan dukungan dari ketepatan tautan yang dilampirkan pada pernyataan individual.

Itu adalah hasil historis untuk Bing Chat, NeevaAI, Perplexity, dan YouChat, bukan skor versi terkini. Nilai yang tetap relevan adalah pembedaan dua bentuk kegagalan: jawaban dapat membiarkan klaim tanpa dukungan, atau memasang kutipan yang tidak membenarkannya. Lebih banyak tautan mungkin memperbaiki yang pertama tanpa menyelesaikan yang kedua. Studi ini tidak menetapkan seberapa sering salah satu kegagalan terjadi pada produk perusahaan tertentu saat ini.

Liu, Zhang and Liang: Evaluating Verifiability in Generative Search Engines
Stanford · 2023

Temuan 1: jawaban yang lancar secara historis pernah memuat pernyataan tanpa dukungan

51,5%

Kalimat yang sepenuhnya didukung sitasi

74,5%

Sitasi yang mendukung kalimat terkait

Studi tahun 2023 terhadap empat mesin yang tersedia saat itu. Dukungan kalimat dan presisi kutipan merupakan ukuran berbeda; bukan tolok ukur produk terkini.

Liu, Zhang and Liang: Evaluating Verifiability in Generative Search Engines

Temuan 2: pencarian sumber asli dapat gagal bahkan dengan kutipan teks yang persis

Studi Tow Center pada Maret 2025 menguji delapan alat AI berkemampuan pencarian dengan kutipan teks dari 200 artikel berita: 20 penerbit, masing-masing sepuluh artikel, menghasilkan 1.600 kueri di seluruh alat. Peneliti meminta artikel, penerbit, dan URL. Lebih dari 60% jawaban mengandung kesalahan. Kutipan teks dipilih sehingga pencarian Google tradisional menampilkan sumber asli di antara tiga hasil pertamanya.

Ini adalah tugas pencarian yang menantang tetapi spesifik, bukan pengujian semua pertanyaan faktual. Studi juga mengamati atribusi ke versi sindikasi atau salinan, serta tautan rekaan atau rusak. Makna bisnisnya adalah bahwa menghasilkan karya asli tidak menjamin memperoleh kutipan atau kunjungan. Perusahaan yang dikutip dalam liputan dan penerbit yang membuatnya dapat digambarkan melalui halaman lain. Hasil tersebut adalah bukti kegagalan pada waktu tertentu, bukan bukti bahwa semua sistem masa kini berperilaku sama.

Tow Center: AI Search Has a Citation Problem

Temuan 3: publikasi yang dapat ditemukan tidak sama dengan pengetahuan terverifikasi

Pracetak Oktober 2026 oleh Qi Liu dan rekan-rekan menganalisis 17.211 kejadian kutipan di sepuluh platform pencarian AI dan 6.356 domain sumber. Dalam eksperimen publikasi terkontrol, delapan platform mengutip konsep rekaan dalam tujuh hari. Eksperimen melacak penanda khas ke publikasi para peneliti, bukan sekadar melihat bahwa jawaban telah berubah.

Ini adalah bukti adanya jalur dari konten publik menuju jawaban yang dihasilkan, bukan anjuran untuk mengarang klaim. Penulis menyebutkan batasannya: panel pertanyaan yang dirancang, pilihan topik untuk memungkinkan penelusuran atribusi, dan pengukuran dari kegiatan Maret–April 2026. Angka tepatnya dapat berubah. Temuan pentingnya adalah bahwa muncul di web yang diambil sistem dapat menghasilkan kutipan tanpa membuat klaim dasarnya benar. Keberhasilan kutipan saja akan memberi penghargaan pada hasil yang salah dalam eksperimen ini.

Qi Liu et al.: From Public Posts to AI-Search Citations

Temuan 4: daftar sumber itu sendiri dapat berubah antar pengamatan

Rilis Muck Rack dan Generative Pulse pada Oktober 2026 menggabungkan dataset pemantauan luas dengan panel September terpisah yang berisi 1.020 prompt konsumen tanpa merek di empat sistem. Dalam pengujian ulang pada hari yang sama, rilis itu melaporkan tumpang tindih domain kutipan sebesar 41% untuk ChatGPT, 45% untuk Gemini, dan 94% untuk Perplexity. Ini adalah temuan yang dilaporkan penerbit, bukan audit independen terhadap vendor pemantauan.

Tumpang tindih domain mengukur keterulangan pemilihan sumber, bukan keakuratan salah satu jawaban. Daftar yang berubah tetap dapat mendukung kesimpulan benar yang sama; daftar stabil dapat berulang kali mendukung kesalahan. Berbagai bagian dataset juga tidak boleh digabung menjadi satu sampel yang mewakili semua pencarian. Rilis tersebut mendukung temuan yang lebih terbatas: satu jawaban yang ditangkap mungkin tidak menggambarkan dengan baik apa yang akan dikutip sistem yang sama pada kesempatan berikutnya.

Muck Rack and Generative Pulse: October 2026 citation research

Studi-studi ini menyelidiki masalah berbeda, bukan satu tingkat kesalahan universal

Hasilnya tidak dapat dirata-ratakan menjadi persentase keandalan AI secara keseluruhan. Dukungan kalimat, pencarian artikel yang benar, penerimaan konsep rekaan, dan keterulangan domain memiliki penyebut berbeda. Hasil juga berasal dari tahun, sistem, dan rangkaian pertanyaan yang berbeda. Memperlakukannya sebagai ukuran yang sama akan membuat riset kurang berguna justru ketika bisnis membutuhkan kejelasan.

Bersama-sama, studi itu mengungkap empat pertanyaan berbeda tentang jawaban komersial: apakah pernyataan penting didukung, apakah penghargaan dilekatkan pada sumber yang benar, apakah kewenangan sumber beralasan, dan apakah pengamatan dapat diulang? Bisnis mungkin memiliki masalah pada satu dimensi dan tidak pada dimensi lainnya. Hal itu menciptakan konsekuensi berbeda bagi reputasi, lalu lintas yang berguna, dan kualitas percakapan penjualan berikutnya.

Studi-studi ini menyelidiki masalah berbeda, bukan satu tingkat kesalahan universalCoba ini
Masalah buktiYang bisa keliruKonsekuensi komersial
Tautan tidak membenarkan klaim di dekatnyaPembeli mempelajari janji produk yang tidak didukung
Karya asli dianggap berasal dari pihak lainPencipta kehilangan pengakuan atau lalu lintas yang dapat dikenali
Materi yang dipublikasikan dianggap fakta mapanInformasi lemah tampak memiliki kewenangan
Pertanyaan sama menghasilkan sumber berbedaSatu tangkapan layar melebih-lebihkan kestabilan posisi persaingan

Sumber berguna hanya jika mendukung klaim

Gunakan pemeriksaan cepat ini sebelum mengulang angka dalam email penjualan atau situs web.

Klaim yang tepat

Tulis pernyataan persisnya. Pisahkan lalu lintas, pertanyaan masuk, pipeline, pendapatan, dan laba.

Buka lembar kerja fakta komunitas

Lima tautan berulang tidak menciptakan lima konfirmasi independen

Bayangkan pengumuman produk fiktif yang diulang empat penerbit lalu dikutip oleh jawaban AI. Jawaban memiliki beberapa URL, tetapi klaim kinerja tetap berasal dari satu perusahaan. Halaman lain mungkin menambahkan pelaporan atau pengujian independen; mungkin pula hanya mengulang pengumuman. Jumlah tautan saja tidak menunjukkan mana yang terjadi.

Ini penting untuk klaim seperti waktu yang dihemat, biaya akuisisi lebih rendah, atau implementasi lebih cepat. Angka yang sama dapat menyebar jauh melampaui penjelasan tentang siapa yang mengukurnya dan dalam kondisi apa. Analisis saya adalah bahwa pengulangan dapat meningkatkan visibilitas tanpa mengubah kekuatan bukti. Karena itu, banyak penyebutan dapat tetap berasal dari satu sumber yang memiliki kepentingan komersial. Ini alasan untuk mempertahankan atribusi, bukan alasan untuk mengabaikan setiap studi kasus perusahaan.

Kesalahan yang paling berdampak dapat berupa perubahan kecil pada cakupan

Contoh perangkat lunak fiktif menjelaskan masalahnya: sumber mengatakan integrasi tersedia pada satu paket perusahaan, sementara jawaban mengatakan produk tersebut menyertakan integrasi itu. Nama produk dan integrasi sama-sama benar. Kondisi yang hilang tetap dapat menghasilkan evaluasi yang tidak sesuai, calon pelanggan kecewa, dan waktu penjualan terbuang. Skor pencocokan entitas sederhana tidak akan menangkap perbedaannya.

Dalam layanan berbasis lokasi, kesalahan setara adalah melekatkan kemampuan grup pada setiap cabang. Halaman perusahaan yang benar bukan bukti tentang lokasi individual. Ini adalah contoh ilustratif, bukan frekuensi yang diukur. Contoh tersebut menjelaskan mengapa penilaian keakuratan yang berguna secara komersial perlu mempertimbangkan cakupan pernyataan—paket, tempat, tanggal, kelayakan, dan syarat harga—bukan hanya apakah merek yang tepat muncul.

Temuan 5: pelaporan kutipan platform sengaja tidak sampai menjadi bukti bisnis

Pembaruan AI Performance Bing pada Juni 2026 mendefinisikan pangsa kutipan sebagai bagian kutipan sebuah situs untuk kueri pengambilan informasi pendukung. Bing secara tegas menyatakan bahwa ukuran itu bersifat observasional, tidak menampilkan domain pesaing, bukan pangsa lalu lintas, dan tidak memberi skor kualitas. Perbandingan periodenya dapat menunjukkan perubahan, sementara dokumentasi menyebut beberapa kemungkinan penyebab.

Batas tersebut berguna. Platform melaporkan penggunaan sumber, bukan mengesahkan klaim pada setiap halaman atau nilai bisnis sebuah jawaban. Kesimpulan saya adalah bahwa pelaporan visibilitas dan peninjauan klaim menjawab pertanyaan yang saling melengkapi. Yang satu menunjukkan di mana bukti digunakan. Yang lain menunjukkan apakah penjelasan yang dihasilkan berguna dan akurat bagi pembeli yang dituju. Keduanya tidak otomatis memberikan hasil komersial akhir.

Bing: Intents, Topics, Citation Share and Compare

Arti temuan ini bagi sebuah bisnis

Peluangnya bukan sekadar memperoleh lebih banyak kutipan. Peluangnya adalah membuat fakta yang tepat tersedia saat sistem menjelaskan bisnis dan memahami kesenjangan antara paparan, penafsiran, dan langkah pelanggan berikutnya. Ini sangat berharga untuk penawaran kompleks, ketika satu kondisi yang hilang dapat membuat jawaban yang tampak positif tidak berguna secara komersial.

Saya bekerja di Searchable. Dalam sesi strategi, saya menghubungkan jawaban yang disimpan dan sumbernya dengan keputusan pembeli yang sebenarnya: apa yang digambarkan dengan benar, apa yang masih tidak pasti, dan temuan mana yang mengubah pekerjaan. Riset mendukung pembacaan lebih teliti itu. Riset tidak mendukung perlakuan terhadap grafik kutipan yang naik sebagai bukti keakuratan atau pendapatan.

Cakupan riset

Ditinjau 3 November 2026. Artikel ini menyintesis studi yang dipublikasikan, rilis riset vendor, dan definisi pelaporan resmi. Artikel tidak mengulang eksperimen tersebut. Hasil model historis diberi label tanggal; makalah Oktober diperlakukan sebagai pracetak. Contoh fiktif menjelaskan konsekuensi bisnis dan bukan pengamatan pelanggan. Tidak ada skor keakuratan gabungan yang dihitung dari pengujian yang tidak sebanding.

Sumber dan catatan

Sumber ditinjau: 3 November 2026. Rencana dan contoh merupakan saran, bukan hasil pelanggan yang diukur. Saya bekerja di Searchable. Tautan produknya mencerminkan hubungan tersebut.

1
Liu, Zhang and Liang: Evaluating Verifiability in Generative Search EnginesStudi tahun 2023 terhadap empat mesin yang tersedia saat itu. Dukungan kalimat dan presisi kutipan merupakan ukuran berbeda; bukan tolok ukur produk terkini.
2
Tow Center: AI Search Has a Citation Problem6 Maret 2025. Penjelasan peneliti asli tentang 200 kutipan artikel yang diuji pada delapan alat, menghasilkan 1.600 kueri. Tugas khusus pencarian berita.
3
Qi Liu et al.: From Public Posts to AI-Search CitationsPracetak diajukan 8 Oktober 2026; pengukuran dari Maret–April 2026. Pengaruh publikasi eksperimental bukan model peringkat atau konversi universal.
4
Muck Rack and Generative Pulse: October 2026 citation researchRilis riset vendor pada 28 Oktober 2026. Pemantauan luas dan panel prompt terpisah memiliki cakupan berbeda; tumpang tindih bukan metrik keakuratan.
5
Bing: Intents, Topics, Citation Share and ComparePengumuman pratinjau resmi 16 Juni 2026. Mendefinisikan pangsa kutipan dan keterbatasannya; ditinjau 3 November 2026.
Searchable
Daavid ChristaMitra Anda di Searchable

Rencana pencarian AI Anda, dibangun bersama

Saya Daavid, mitra strategis Anda di Searchable. Kami akan mengubah tujuan bisnis menjadi pertanyaan yang jelas, pendampingan praktis, dan rencana nyata untuk ditinjau bersama.

Lihat posisi Anda

Yang Anda dapatkan
Gambaran awal tentang cara AI menyebut bisnis Anda, dengan pasar, model, dan tanggal yang jelas.
Siapa yang terlibat
Anda dan Daavid
Cara Searchable membantu
Bandingkan jawaban tersimpan, pesaing, dan kutipan.

Kita akan menyepakati dukungan, rencana, dan jadwal tinjauan bersama. Fitur bergantung pada pengaturan Anda.