Gi bedriftsbrukerne mulighet til å trekke ut innsikt fra bedriftsdokumenter ved hjelp av Amazon SageMaker Canvas og Generative AI | Amazon Web Services

Bedrifter søker å utnytte potensialet til maskinlæring (ML) for å løse komplekse problemer og forbedre resultater. Inntil nylig krevde bygging og distribusjon av ML-modeller dype nivåer av tekniske ferdigheter og koding, inkludert tuning av ML-modeller og vedlikehold av operative rørledninger. Siden introduksjonen i 2021, Amazon SageMaker Canvas har gjort det mulig for forretningsanalytikere å bygge, distribuere og bruke en rekke ML-modeller – inkludert tabeller, datasyn og naturlig språkbehandling – uten å skrive en linje med kode. Dette har akselerert bedrifters evne til å bruke ML for å bruke tilfeller som tidsserieprognoser, kundeavgang, sentimentanalyse, oppdagelse av industrielle defekter og mange andre.

Som kunngjort den Oktober 5, 2023, utvidet SageMaker Canvas sin støtte for modeller til grunnmodeller (FM) – store språkmodeller som brukes til å generere og oppsummere innhold. Med Utgivelse 12. oktober 2023, lar SageMaker Canvas brukere stille spørsmål og få svar som er basert på bedriftsdataene deres. Dette sikrer at resultatene er kontekstspesifikke, og åpner for flere brukstilfeller der ML uten kode kan brukes for å løse forretningsproblemer. For eksempel kan forretningsteam nå formulere svar i samsvar med en organisasjons spesifikke ordforråd og prinsipper, og kan raskere søke etter lange dokumenter for å få svar som er spesifikke og forankret i innholdet i disse dokumentene. Alt dette innholdet utføres på en privat og sikker måte, og sikrer at alle sensitive data får tilgang med riktig styring og beskyttelse.

For å komme i gang konfigurerer og fyller en skyadministrator Amazon Kendra indekserer med bedriftsdata som datakilder for SageMaker Canvas. Canvas-brukere velger indeksen der dokumentene deres er, og kan tenke, undersøke og utforske, vel vitende om at resultatet alltid vil være støttet av deres sannhetskilder. SageMaker Canvas bruker toppmoderne FM-er fra Amazonas grunnfjell og Amazon SageMaker JumpStart. Samtaler kan startes med flere FM-er side ved side, og sammenligner utdataene og virkelig gjør generativ AI tilgjengelig for alle.

I dette innlegget vil vi gjennomgå den nylig utgitte funksjonen, diskutere arkitekturen og presentere en trinn-for-trinn-guide for å gjøre det mulig for SageMaker Canvas å spørre etter dokumenter fra kunnskapsbasen din, som vist i følgende skjermbilde.

Løsningsoversikt

Grunnmodeller kan produsere hallusinasjoner - svar som er generiske, vage, urelaterte eller faktisk ukorrekte. Retrieval Augmented Generation (RAG) er en ofte brukt tilnærming for å redusere hallusinasjoner. RAG-arkitekturer brukes til å hente data fra utenfor en FM, som deretter brukes til å utføre kontekstlæring for å svare på brukerens spørsmål. Dette sikrer at FM kan bruke data fra en pålitelig kunnskapsbase og bruke den kunnskapen til å svare på brukernes spørsmål, noe som reduserer risikoen for hallusinasjoner.

Med RAG kan dataene som er eksterne for FM og som brukes til å utvide brukerforespørsler, komme fra flere forskjellige datakilder, for eksempel dokumentlager, databaser eller APIer. Det første trinnet er å konvertere dokumentene dine og eventuelle brukerforespørsler til et kompatibelt format for å utføre semantisk relevanssøk. For å gjøre formatene kompatible, konverteres en dokumentsamling eller kunnskapsbibliotek og brukerinnsendte forespørsler til numeriske representasjoner ved hjelp av innebyggingsmodeller.

Med denne utgivelsen leveres RAG-funksjonalitet uten kode og sømløs. Bedrifter kan berike chatopplevelsen i Canvas med Amazon Kendra som det underliggende kunnskapsstyringssystemet. Følgende diagram illustrerer løsningsarkitekturen.

Å koble SageMaker Canvas til Amazon Kendra krever et engangsoppsett. Vi beskriver oppsettsprosessen i detalj i Sette opp Canvas for å spørre etter dokumenter. Hvis du ikke allerede har konfigurert ditt SageMaker-domene, se Ombord på Amazon SageMaker Domain.

Som en del av domenekonfigurasjonen kan en skyadministrator velge en eller flere Kendra-indekser som forretningsanalytikeren kan spørre når han samhandler med FM gjennom SageMaker Canvas.

Etter at Kendra-indeksene er hydrert og konfigurert, bruker forretningsanalytikere dem med SageMaker Canvas ved å starte en ny chat og velge «Spørr dokumenter». SageMaker Canvas vil deretter administrere den underliggende kommunikasjonen mellom Amazon Kendra og den valgte FM for å utføre følgende operasjoner:

1. Spørr Kendra-indeksene med spørsmålet som kommer fra brukeren.
2. Hent utdragene (og kildene) fra Kendra-indeksene.
3. Konstruer ledeteksten med utdragene med den opprinnelige spørringen, slik at grunnmodellen kan generere et svar fra de hentede dokumentene.
4. Gi det genererte svaret til brukeren, sammen med referanser til sidene/dokumentene som ble brukt til å formulere svaret.

Sette opp Canvas for å spørre etter dokumenter

I denne delen vil vi lede deg gjennom trinnene for å konfigurere Canvas for å søke etter dokumenter servert gjennom Kendra-indekser. Du bør ha følgende forutsetninger:

• SageMaker domeneoppsett – Ombord på Amazon SageMaker Domain
• Lag en Kendra indeks (eller mer enn én)
• Sett opp Kendra Amazon S3-kontakten – følg Amazon S3-kontakt – og last opp PDF-filer og andre dokumenter til Amazon S3-bøtten knyttet til Kendra-indeksen
• Konfigurer IAM slik at Canvas har de riktige tillatelsene, inkludert de som kreves for å ringe Amazon Bedrock og/eller SageMaker-endepunkter – følg Sett opp Canvas Chat dokumentasjon

Nå kan du oppdatere domenet slik at det får tilgang til de ønskede indeksene. På SageMaker-konsollen, for det gitte domenet, velg Rediger under kategorien Domeneinnstillinger. Aktiver bryteren "Aktiver spørringsdokumenter med Amazon Kendra" som du finner i trinnet Canvas Settings. Når aktivert, velg en eller flere Kendra-indekser som du vil bruke med Canvas.

Det er alt som trengs for å konfigurere funksjonen for Canvas spørringsdokumenter. Brukere kan nå hoppe inn i en chat i Canvas og begynne å bruke kunnskapsbasene som er knyttet til domenet gjennom Kendra-indeksene. Vedlikeholderne av kunnskapsbasen kan fortsette å oppdatere sannhetens kilde, og med synkroniseringsevnen i Kendra vil chat-brukerne automatisk kunne bruke den oppdaterte informasjonen på en sømløs måte.

Bruke Query Documents-funksjonen for chat

Som SageMaker Canvas-bruker kan funksjonen Query Documents nås fra en chat. For å starte chatteøkten, klikk eller søk etter "Generer, trekk ut og oppsummer innhold"-knappen fra fanen Klar til bruk-modeller i SageMaker Canvas.

Når du er der, kan du slå på og av Query Documents med bryteren øverst på skjermen. Sjekk informasjonsmeldingen for å lære mer om funksjonen.

Når Query Documents er aktivert, kan du velge blant en liste over Kendra-indekser aktivert av skyadministratoren.

Du kan velge en indeks når du starter en ny chat. Du kan deretter stille et spørsmål i UX med kunnskap som automatisk hentes fra den valgte indeksen. Merk at etter at en samtale har startet mot en bestemt indeks, er det ikke mulig å bytte til en annen indeks.

For spørsmålene som stilles, vil chatten vise svaret generert av FM sammen med kildedokumentene som bidro til å generere svaret. Når du klikker på et av kildedokumentene, åpner Canvas en forhåndsvisning av dokumentet, og fremhever utdraget som brukes av FM.

konklusjonen

Conversational AI har et enormt potensial til å transformere kunde- og ansattes opplevelse ved å gi en menneskelignende assistent naturlige og intuitive interaksjoner som:

• Utføre forskning på et emne eller søke og bla gjennom organisasjonens kunnskapsbase
• Oppsummere mengder innhold for raskt å samle innsikt
• Søke etter enheter, sentimenter, PII og andre nyttige data, og øke forretningsverdien av ustrukturert innhold
• Generer utkast til dokumenter og forretningskorrespondanse
• Opprette kunnskapsartikler fra ulike interne kilder (hendelser, chattelogger, wikier)

Den innovative integrasjonen av chat-grensesnitt, kunnskapsinnhenting og FM-er gjør det mulig for bedrifter å gi nøyaktige, relevante svar på brukerspørsmål ved å bruke deres domenekunnskap og sannhetskilder.

Ved å koble SageMaker Canvas til kunnskapsbaser i Amazon Kendra, kan organisasjoner beholde sine proprietære data i sitt eget miljø mens de fortsatt drar nytte av toppmoderne naturlige språkfunksjoner til FM-er. Med lanseringen av SageMaker Canvas sin Query Documents-funksjon, gjør vi det enkelt for enhver bedrift å bruke LLM-er og deres bedriftskunnskap som kilde til sannhet for å drive en sikker chat-opplevelse. All denne funksjonaliteten er tilgjengelig i et kodefritt format, slik at bedrifter kan unngå å håndtere repeterende og ikke-spesialiserte oppgaver.

For å lære mer om SageMaker Canvas og hvordan det bidrar til å gjøre det enklere for alle å begynne med maskinlæring, sjekk ut SageMaker Canvas-kunngjøring. Lær mer om hvordan SageMaker Canvas bidrar til å fremme samarbeid mellom datavitere og forretningsanalytikere ved å lese Bygg, del og distribuer innlegg. Til slutt, for å lære hvordan du lager din egen Retrieval Augmented Generation arbeidsflyt, se SageMaker JumpStart RAG.

Referanser

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., Kiela, D. (2020). Gjenvinningsutvidet generasjon for kunnskapsintensive NLP-oppgaver. Fremskritt innen nevrale informasjonsbehandlingssystemer, 33, 9459-9474.

---

Om forfatterne

Davide Gallitelli er en senior spesialistløsningsarkitekt for AI/ML. Han er basert i Brussel og jobber tett med kunder over hele verden som ønsker å ta i bruk Low-Code/No-Code Machine Learning-teknologier og Generativ AI. Han har vært utvikler siden han var veldig ung, og begynte å kode i en alder av 7. Han begynte å lære AI/ML på universitetet, og har forelsket seg i det siden den gang.

Bilal Alam er Enterprise Solutions Architect hos AWS med fokus på Financial Services-bransjen. På de fleste dager hjelper Bilal kunder med å bygge, løfte og sikre deres AWS-miljø for å distribuere deres mest kritiske arbeidsbelastninger. Han har lang erfaring innen telekommunikasjon, nettverk og programvareutvikling. Nylig har han sett på å bruke AI/ML for å løse forretningsproblemer.

Pashmeen Mistry er senior produktsjef i AWS. Utenom jobben liker Pashmeen eventyrlige fotturer, fotografering og å tilbringe tid med familien.

Dan Sinnreich er senior produktsjef hos AWS, og hjelper til med å demokratisere maskinlæring med lav kode/ikke kode. Før AWS bygde og kommersialiserte Dan enterprise SaaS-plattformer og tidsseriemodeller brukt av institusjonelle investorer for å håndtere risiko og konstruere optimale porteføljer. Utenom jobben kan han bli funnet å spille hockey, dykking og lese science fiction.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/