A keresőmotorok nem mindig segítik a chatbot pontosságát

A keresőmotorokhoz való hozzáférés nem javítja az AI chatbot azon képességét, hogy pontos és naprakész válaszokat generáljon a kérdésekre, ami azt jelenti, hogy a fejlesztőknek új technikákat kell találniuk, hogy hasznosabbá tegyék az interakciót a kutatás szerint.

Az olyan nagy nyelvi modelleket (LLM), mint a GPT-3.5 – a ChatGPT alapja – 2021 szeptemberéig az internetről kimásolt szövegre képezik. Az olyan cégek, mint a Google és a Microsoft, megpróbálják keresőmotorokkal bővíteni az LLM-eket, hozzáférést biztosítva számukra a jelenlegi web tudásához. oldalakat.

Amint azt sajátjuk is bebizonyította Dalnok és a Bing chatbotok, a Google és a Microsoft még mindig küzd, hogy pontos válaszokat adjanak a keresési lekérdezésekre – még akkor is, ha a helyes válasz valahol az interneten található.

„Azt gondolhatnánk, hogy a keresőmotor és a ChatGPT összekapcsolása tökéletes megoldás, de a valóság nagyobb kihívást jelent a keresési eredmények korlátozott pontossága miatt” – mondta Hongyin Luo, az MIT Számítástechnikai és Mesterséges Intelligencia Laboratóriumának posztdoktori munkatársa. A regisztráció.

Luo elmagyarázza, hogy a keresőmotorok kulcsszó alapú visszakereső rendszerek, és nem mindig adnak közvetlen választ a legtöbb kérdésre. Ezenkívül a különböző weboldalak egymáshoz nem kapcsolódó, egymásnak ellentmondó vagy hamis információkat tartalmazhatnak. Bing helytelenül állította Adolf Hitler a Radiohead együttes tagja volt például egy keresési eredményben.

netizens elmélkedett hogy a hibát okozhatta-e a oldal a Wikidatán, amely megemlítette a Radioheadet és Adolf Hitlert.

Ha azt akarjuk, hogy a Bard és a Bing hasznosak legyenek, a fejlesztőknek ki kell találniuk, hogyan tudják rávenni az LLM-eket, hogy a leghasznosabb információkat kinyerjék a zajos, zavaró és következetlen szövegek tengeréből. Luo és kollégái az MIT-ről és a Hongkongi Kínai Egyetemről úgy vélik, hogy a modelleket tovább kell finomítani, hogy jobban követhessék az internetes keresésre adott válaszok generálására vonatkozó utasításokat.

A csapat megcsípte Metát Láma, egy hétmilliárd paraméterű LLM, finomhangolása egy olyan adatbázison, amely 52,000 4 pár szövegalapú utasítást és a GPT-XNUMX által generált megfelelő válaszokat tartalmaz. A kutatók egy külön adatkészletet is létrehoztak, amely az egyes utasításokhoz kapcsolódó öt legnépszerűbb weboldalt tartalmazza, és megtanították a modellt a helyes válasz generálására azáltal, hogy rangsorolták a forrásokat aszerint, hogy mennyire relevánsak és mennyire illeszkednek a helyes válaszhoz.

Luo mondta a finomhangolt modell – becenevén VITORLA-7B, amely a kereséssel kiegészített utasítások tanulását jelenti – jobban tudja figyelmen kívül hagyni a zavaró vagy megbízhatatlan keresési eredményeket, és jobb minőségű válaszokat generál. A részletek megvoltak közzétett [PDF] egy, az arXiven és a modellen megjelent cikkben kód a GitHubon van. Játszhatsz a demó a Hugging Face-en tárolt rendszerről.

„Modellünk megtanul hasznos információkat találni a zajos keresési eredményekből, és a lehető legpontosabb válaszokat generálni. Ennek eredményeként a modellünk jobban össze tudja foglalni az értékes információkat, és jobb válaszokat generál a különböző keresési lekérdezésekre, még akkor is, ha a keresőmotorok nem tudják őket nagyon jól kezelni” – mondta Luo.

„Képzésünk kifejezetten tartalmaz egy lépést, amely tisztázza, hogy az egyes keresési eredmények hasznosak-e vagy sem, és a nyelvi modell követi a kiválasztott hasznos információkat. Ez a folyamat kiszűri a legtöbb megbízhatatlan és nem kapcsolódó keresési eredményt, és javítja az átlagos utasításkövetési teljesítményt.”

A kezdeti kísérletek azt mutatták, hogy a SAIL-7B felülmúlta a GPT-3.5-öt és más, több paramétert tartalmazó modelleket számos feladatban. A kísérletek felmérték a józan ész és a nyitott kérdések megválaszolására való képességüket, valamint a tények ellenőrzését és a gyűlöletbeszéd kimutatását. A modelleket a Wikipédia weboldalaival és a DuckDuckGo keresési eredményeivel látták el, hogy segítsenek nekik kiválasztani a megfelelő válaszokat a jelölt válaszok listájából. A GPT-4 azonban még mindig jobb volt, mint a SAIL-7B.

„A kihívás az, hogy a nagyobb modellek sokkal erősebb tudással, memorizálási és érvelési képességekkel rendelkeznek, így a mi modellünk még nem olyan jó, mint a GPT-4. A SAIL-7B azonban a koncepció bizonyítéka egy „kis” modellel, és a következő lépésünk egy nagyobb modell kiképzése az általunk javasolt stratégiával” – mondta Luo.

A jelenlegi kereséssel kiegészített oktatási tanulási technikával finomhangolt modellek azonban nem tökéletesek. A kutatók megjegyezték, hogy nem tudják megmagyarázni miért a keresési eredmény megbízható-e vagy sem. Remélik, hogy a jövőben újabb stratégiával tudnak előállni a pontosság és a megbízhatóság növelésére. ®

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• EVM Finance. Egységes felület a decentralizált pénzügyekhez. Hozzáférés itt.
• Quantum Media Group. IR/PR erősített. Hozzáférés itt.
• PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://go.theregister.com/feed/www.theregister.com/2023/06/07/search_engines_make_chatbots_inaccurate/