Zoekmachines helpen niet altijd de nauwkeurigheid van chatbots

Zoekmachines helpen de nauwkeurigheid van chatbots niet altijd

Tijdstempel: 7 juni 2023 12:33 uur
Zoekmachines helpen niet altijd de nauwkeurigheid van chatbots PlatoBlockchain Data Intelligence. Verticaal zoeken. Ai.

Toegang tot zoekmachines verbetert niet het vermogen van een AI-chatbot om nauwkeurige en actuele antwoorden op vragen te genereren, wat betekent dat ontwikkelaars nieuwe technieken zullen moeten vinden om de interactie nuttiger te maken, blijkt uit onderzoek.

Grote taalmodellen (LLM’s) zoals GPT-3.5 – de basis voor ChatGPT – worden tot september 2021 getraind op tekst die van internet is geplukt. Bedrijven als Google en Microsoft proberen LLM’s uit te breiden met zoekmachines, waardoor ze toegang krijgen tot kennis op het huidige web Pagina's.

Zoals blijkt uit hun respectieve Bard en Bing chatbots, Google en Microsoft hebben nog steeds moeite om nauwkeurige antwoorden op zoekopdrachten te geven – ook al staat het juiste antwoord misschien ergens op internet.

“Je zou kunnen denken dat het verbinden van de zoekmachine en ChatGPT een perfecte oplossing is, maar de realiteit is uitdagender vanwege de beperkte nauwkeurigheid van de zoekresultaten”, vertelde Hongyin Luo, een postdoctoraal medewerker bij het Computer Science & Artificial Intelligence Laboratory van MIT. Het register.

Luo legt uit dat zoekmachines op trefwoorden gebaseerde zoeksystemen zijn en niet altijd directe antwoorden op de meeste vragen bieden. Ook kunnen verschillende webpagina's niet-gerelateerde, tegenstrijdige of valse informatie bevatten. Bing heeft dit ten onrechte beweerd Adolf Hitler was lid van de band Radiohead in één zoekresultaat bijvoorbeeld.

netizens speculeerde of de fout veroorzaakt kan zijn door a pagina op Wikidata waarin Radiohead en Adolf Hitler werden genoemd.

Als Bard en Bing nuttig willen zijn, zullen ontwikkelaars moeten uitzoeken hoe ze LLM's de meest bruikbare informatie kunnen laten extraheren uit een zee van tekst die luidruchtig, verwarrend en inconsistent is. Luo en zijn collega's van MIT en de Chinese Universiteit van Hong Kong zijn van mening dat modellen verder moeten worden verfijnd, zodat ze de instructies voor het genereren van antwoorden voor zoeken op internet beter kunnen volgen.

Het team heeft Meta's aangepast Lama, een LLM met zeven miljard parameters, die deze verfijnt op een database met 52,000 paren op tekst gebaseerde instructies en bijbehorende antwoorden gegenereerd door GPT-4. De onderzoekers construeerden ook een afzonderlijke dataset met de vijf beste webpagina's die bij elke instructie horen, en trainden het model om het juiste antwoord te genereren door de bronnen te rangschikken op hoe relevant en nauw afgestemd ze waren op het juiste antwoord.

Luo zei dat het verfijnde model een bijnaam had ZEIL-7B, wat staat voor search-augmented instruction learning – is beter in het negeren van afleidende of onbetrouwbare zoekresultaten en genereert antwoorden van hogere kwaliteit. De details zijn geweest gepubliceerde [PDF] in een paper uitgebracht op arXiv, en die van het model code staat op GitHub. Je kunt ook spelen met een demonstratie van het systeem dat wordt gehost op Hugging Face.

“Ons model leert nuttige informatie te vinden uit luidruchtige zoekresultaten en zo nauwkeurig mogelijke antwoorden te genereren. Als gevolg hiervan kan ons model waardevolle informatie beter samenvatten en betere antwoorden genereren voor verschillende zoekopdrachten, zelfs als zoekmachines deze niet zo goed kunnen verwerken”, aldus Luo.

“Onze training omvat expliciet een stap die duidelijk maakt of elk zoekresultaat nuttig is of niet, en het taalmodel volgt de geselecteerde nuttige informatie. Dit proces filtert de meest onbetrouwbare en niet-gerelateerde zoekresultaten uit en verbetert de gemiddelde prestatie bij het volgen van instructies.”

Uit eerste experimenten bleek dat SAIL-7B bij een reeks taken beter presteerde dan GPT-3.5 en andere modellen die meer parameters bevatten. De experimenten beoordeelden hun vermogen om gezond verstand en open vragen te beantwoorden, evenals het controleren van feiten en het detecteren van haatzaaiende uitlatingen. De modellen kregen webpagina's van Wikipedia en zoekresultaten van DuckDuckGo te zien om hen te helpen de juiste antwoorden te kiezen uit een lijst met kandidaat-antwoorden. GPT-4 was echter nog steeds beter dan SAIL-7B.

“De uitdaging is dat grotere modellen een veel sterker kennis-, memorie- en redeneervermogen hebben, dus ons model is nog niet zo goed als GPT-4. SAIL-7B is echter een proof of concept met een 'klein' model, en onze volgende stap is het trainen van een groter model met de strategie die we hebben voorgesteld,' vertelde Luo ons.

Modellen die zijn verfijnd met de huidige zoek-aangepaste instructie-leertechniek zijn echter niet perfect. De onderzoekers merkten op dat ze het niet kunnen verklaren Waarom een zoekresultaat is betrouwbaar of niet. Ze hopen in de toekomst met een andere strategie te komen om de nauwkeurigheid en betrouwbaarheid te vergroten. ®

Tijdstempel:

Meer van Het register