Mesin pencari tidak selalu membantu akurasi chatbot

Mesin pencari tidak selalu membantu akurasi chatbot

Stempel Waktu: 7 Juni 2023 12
Mesin pencari tidak selalu membantu akurasi chatbot PlatoBlockchain Data Intelligence. Pencarian Vertikal. Ai.

Akses ke mesin pencari cenderung tidak meningkatkan kemampuan chatbot AI untuk menghasilkan jawaban pertanyaan yang akurat dan terkini, yang berarti pengembang harus menemukan teknik baru untuk membuat interaksi lebih bermanfaat, menurut penelitian.

Model bahasa besar (LLM) seperti GPT-3.5 – yang menjadi dasar ChatGPT – dilatih berdasarkan teks yang diambil dari internet hingga September 2021. Perusahaan seperti Google dan Microsoft mencoba melengkapi LLM dengan mesin pencari, sehingga memberi mereka akses ke pengetahuan di web saat ini halaman.

Seperti yang ditunjukkan oleh masing-masing Penyair dan bing chatbots, Google, dan Microsoft masih kesulitan untuk menghasilkan respons yang akurat terhadap permintaan pencarian – meskipun jawaban yang benar mungkin ada di internet.

“Orang mungkin berpikir menghubungkan mesin pencari dan ChatGPT adalah solusi sempurna, namun kenyataannya lebih menantang karena terbatasnya akurasi hasil pencarian,” kata Hongyin Luo, rekan pascadoktoral di Laboratorium Ilmu Komputer & Kecerdasan Buatan MIT, kepada Pendaftaran.

Luo menjelaskan bahwa mesin pencari adalah sistem pengambilan berbasis kata kunci dan tidak selalu memberikan jawaban langsung atas sebagian besar pertanyaan. Selain itu, halaman web yang berbeda mungkin berisi informasi yang tidak berhubungan, bertentangan, atau salah. Bing salah mengklaim Adolf Hitler adalah anggota band Radiohead dalam satu hasil pencarian, misalnya.

Netizen berspekulasi apakah kesalahan tersebut disebabkan oleh a halaman di Wikidata yang menyebutkan Radiohead dan Adolf Hitler.

Jika Bard dan Bing ingin berguna, pengembang perlu memikirkan cara membuat LLM mengekstrak informasi paling berguna dari lautan teks yang berisik, membingungkan, dan tidak konsisten. Luo dan rekan-rekannya dari MIT dan Chinese University of Hong Kong percaya bahwa model perlu disempurnakan lebih lanjut agar model dapat mengikuti petunjuk dengan lebih baik tentang cara menghasilkan respons untuk penelusuran web.

Tim mengubah Meta Panggilan, LLM dengan tujuh miliar parameter, menyempurnakannya pada database yang berisi 52,000 pasang instruksi berbasis teks dan respons terkait yang dihasilkan oleh GPT-4. Para peneliti juga membuat kumpulan data terpisah yang berisi lima halaman web teratas yang terkait dengan setiap instruksi, dan melatih model untuk menghasilkan respons yang benar dengan memberi peringkat pada sumber berdasarkan seberapa relevan dan selarasnya sumber tersebut dengan respons yang benar.

Luo mengatakan model yang disetel dengan baik – dijuluki BERLAYAR-7B, yang merupakan singkatan dari pembelajaran instruksi yang ditambah pencarian – lebih baik dalam mengabaikan hasil pencarian yang mengganggu atau tidak dapat dipercaya dan menghasilkan jawaban yang berkualitas lebih tinggi. Detailnya sudah diterbitkan [PDF] dalam makalah yang dirilis di arXiv, dan modelnya kode ada di GitHub. Anda juga bisa bermain dengan a demo dari sistem yang dihosting di Hugging Face.

“Model kami belajar menemukan informasi bermanfaat dari hasil penelusuran yang bermasalah dan menghasilkan respons seakurat mungkin. Hasilnya, model kami dapat merangkum informasi berharga dengan lebih baik dan menghasilkan jawaban yang lebih baik untuk berbagai permintaan pencarian, bahkan ketika mesin pencari tidak dapat menanganinya dengan baik,” kata Luo.

“Pelatihan kami secara eksplisit mencakup langkah yang memperjelas apakah setiap hasil pencarian bermanfaat atau tidak, dan model bahasa mengikuti informasi bermanfaat yang dipilih. Proses ini menyaring sebagian besar hasil penelusuran yang tidak dapat diandalkan dan tidak terkait serta meningkatkan rata-rata kinerja mengikuti instruksi.”

Eksperimen awal menunjukkan bahwa SAIL-7B mengungguli GPT-3.5 dan model lain yang berisi lebih banyak parameter pada berbagai tugas. Eksperimen tersebut menilai kemampuan mereka dalam menjawab pertanyaan-pertanyaan yang masuk akal dan terbuka, serta memeriksa fakta, dan mendeteksi ujaran kebencian. Para model diberi halaman web dari Wikipedia dan hasil pencarian dari DuckDuckGo untuk membantu mereka memilih jawaban yang benar dari daftar tanggapan kandidat. Namun GPT-4 masih lebih baik dari SAIL-7B.

“Tantangannya adalah model yang lebih besar memiliki kemampuan pengetahuan, ingatan, dan penalaran yang jauh lebih kuat, sehingga model kami belum sebaik GPT-4. Namun, SAIL-7B adalah bukti konsep dengan model 'kecil', dan langkah kami selanjutnya adalah melatih model yang lebih besar dengan strategi yang kami usulkan,” kata Luo kepada kami.

Namun, model yang disesuaikan dengan teknik pembelajaran instruksi yang ditambah pencarian saat ini tidaklah sempurna. Para peneliti mencatat bahwa mereka tidak dapat menjelaskan mengapa hasil pencarian dapat dipercaya atau tidak. Mereka berharap dapat menemukan strategi lain untuk meningkatkan akurasi dan keandalan di masa depan. ®

Stempel Waktu:

Lebih dari Pendaftaran