Giv dine forretningsbrugere mulighed for at udtrække indsigt fra virksomhedens dokumenter ved hjælp af Amazon SageMaker Canvas Generative AI | Amazon Web Services

Virksomheder søger at udnytte potentialet i Machine Learning (ML) til at løse komplekse problemer og forbedre resultater. Indtil for nylig krævede opbygning og implementering af ML-modeller dybe niveauer af tekniske og kodningsfærdigheder, herunder tuning af ML-modeller og vedligeholdelse af operationelle pipelines. Siden introduktionen i 2021, Amazon SageMaker lærred har gjort det muligt for forretningsanalytikere at bygge, implementere og bruge en række forskellige ML-modeller – inklusive tabelform, computervision og naturlig sprogbehandling – uden at skrive en linje kode. Dette har fremskyndet virksomheders evne til at anvende ML til brugssager såsom tidsserieprognoser, forudsigelse af kundeafgang, sentimentanalyse, påvisning af industridefekter og mange andre.

Som annonceret den Oktober 5, 2023, udvidede SageMaker Canvas sin support af modeller til fundamentmodeller (FM'er) – store sprogmodeller, der bruges til at generere og opsummere indhold. Med Udgivelse den 12. oktober 2023SageMaker Canvas lader brugere stille spørgsmål og få svar, der er baseret på deres virksomhedsdata. Dette sikrer, at resultaterne er kontekstspecifikke, hvilket åbner op for yderligere use cases, hvor no-code ML kan anvendes til at løse forretningsproblemer. For eksempel kan virksomhedsteams nu formulere svar, der er i overensstemmelse med en organisations specifikke ordforråd og principper, og kan hurtigere forespørge i lange dokumenter for at få svar, der er specifikke og baseret på indholdet af disse dokumenter. Alt dette indhold udføres på en privat og sikker måde, hvilket sikrer, at alle følsomme data tilgås med korrekt styring og sikkerhedsforanstaltninger.

For at komme i gang konfigurerer og udfylder en skyadministrator Amazon Kendra indekserer med virksomhedsdata som datakilder til SageMaker Canvas. Canvas-brugere vælger det indeks, hvor deres dokumenter er, og kan idéer, researche og udforske velvidende, at outputtet altid vil blive understøttet af deres sandhedskilder. SageMaker Canvas bruger state-of-the-art FM'er fra Amazonas grundfjeld , Amazon SageMaker JumpStart. Samtaler kan startes med flere FM'er side om side, sammenligne output og virkelig gøre generativ AI tilgængelig for alle.

I dette indlæg vil vi gennemgå den nyligt udgivne funktion, diskutere arkitekturen og præsentere en trin-for-trin guide til at gøre det muligt for SageMaker Canvas at forespørge dokumenter fra din vidensbase, som vist i det følgende skærmbillede.

Løsningsoversigt

Grundmodeller kan producere hallucinationer - svar, der er generiske, vage, ikke-relaterede eller faktuelt ukorrekte. Retrieval Augmented Generation (RAG) er en hyppigt anvendt tilgang til at reducere hallucinationer. RAG-arkitekturer bruges til at hente data uden for en FM, som derefter bruges til at udføre in-context learning for at besvare brugerens forespørgsel. Dette sikrer, at FM kan bruge data fra en pålidelig videnbase og bruge denne viden til at besvare brugernes spørgsmål, hvilket reducerer risikoen for hallucinationer.

Med RAG kan data, der er eksternt i forhold til FM og bruges til at forstærke brugermeddelelser, komme fra flere forskellige datakilder, såsom dokumentlagre, databaser eller API'er. Det første trin er at konvertere dine dokumenter og eventuelle brugerforespørgsler til et kompatibelt format for at udføre semantisk relevanssøgning. For at gøre formaterne kompatible konverteres en dokumentsamling eller vidensbibliotek og brugerindsendte forespørgsler til numeriske repræsentationer ved hjælp af indlejringsmodeller.

Med denne udgivelse leveres RAG-funktionalitet på en kodefri og problemfri måde. Virksomheder kan berige chatoplevelsen i Canvas med Amazon Kendra som det underliggende videnstyringssystem. Følgende diagram illustrerer løsningsarkitekturen.

At forbinde SageMaker Canvas til Amazon Kendra kræver en engangsopsætning. Vi beskriver opsætningsprocessen i detaljer i Opsætning af Canvas for at forespørge dokumenter. Hvis du ikke allerede har konfigureret dit SageMaker-domæne, se Ombord på Amazon SageMaker Domain.

Som en del af domænekonfigurationen kan en cloud-administrator vælge et eller flere Kendra-indekser, som forretningsanalytikeren kan forespørge på, når han interagerer med FM'en gennem SageMaker Canvas.

Efter at Kendra-indekserne er hydreret og konfigureret, bruger forretningsanalytikere dem med SageMaker Canvas ved at starte en ny chat og vælge "Forespørgsdokumenter". SageMaker Canvas vil derefter administrere den underliggende kommunikation mellem Amazon Kendra og den valgte FM for at udføre følgende operationer:

1. Forespørg på Kendra-indeksene med spørgsmålet, der kommer fra brugeren.
2. Hent uddragene (og kilderne) fra Kendra-indekser.
3. Konstruer prompten med uddragene med den originale forespørgsel, så fundamentmodellen kan generere et svar fra de hentede dokumenter.
4. Giv brugeren det genererede svar sammen med henvisninger til de sider/dokumenter, der blev brugt til at formulere svaret.

Opsætning af Canvas til at forespørge dokumenter

I dette afsnit vil vi lede dig gennem trinene til at konfigurere Canvas til at forespørge på dokumenter, der serveres gennem Kendra-indekser. Du skal have følgende forudsætninger:

• SageMaker domæneopsætning – Ombord på Amazon SageMaker Domain
• Opret en Kendra indeks (eller mere end én)
• Opsæt Kendra Amazon S3-stikket – følg vejledningen Amazon S3 stik – og upload PDF-filer og andre dokumenter til Amazon S3-bøtten, der er knyttet til Kendra-indekset
• Konfigurer IAM, så Canvas har de relevante tilladelser, inklusive dem, der kræves for at kalde Amazon Bedrock og/eller SageMaker-endepunkter – følg Opsæt Canvas Chat dokumentation

Nu kan du opdatere domænet, så det kan få adgang til de ønskede indekser. På SageMaker-konsollen skal du for det givne domæne vælge Rediger under fanen Domæneindstillinger. Aktiver til/fra-knappen "Aktiver forespørgselsdokumenter med Amazon Kendra", som kan findes i Trinnet Indstillinger for lærred. Når det er aktiveret, skal du vælge et eller flere Kendra-indekser, som du vil bruge med Canvas.

Det er alt, hvad der er nødvendigt for at konfigurere Canvas forespørgselsdokumenter. Brugere kan nu hoppe ind i en chat i Canvas og begynde at bruge de vidensbaser, der er knyttet til domænet gennem Kendra-indekserne. Vedligeholderne af videnbasen kan fortsætte med at opdatere kilden til sandheden, og med synkroniseringskapaciteten i Kendra vil chatbrugerne automatisk kunne bruge de opdaterede oplysninger på en problemfri måde.

Brug af funktionen Forespørgsdokumenter til chat

Som SageMaker Canvas-bruger kan funktionen Query Documents tilgås fra en chat. For at starte chatsessionen skal du klikke eller søge efter knappen "Generer, udtræk og opsummer indhold" fra fanen Klar til brug-modeller i SageMaker Canvas.

Når du er der, kan du tænde og slukke for forespørgselsdokumenter med knappen øverst på skærmen. Tjek informationsprompten for at lære mere om funktionen.

Når Query Documents er aktiveret, kan du vælge blandt en liste over Kendra-indekser aktiveret af cloud-administratoren.

Du kan vælge et indeks, når du starter en ny chat. Du kan derefter stille et spørgsmål i UX, hvor viden automatisk hentes fra det valgte indeks. Bemærk, at efter en samtale er startet mod et bestemt indeks, er det ikke muligt at skifte til et andet indeks.

For de stillede spørgsmål vil chatten vise svaret genereret af FM sammen med de kildedokumenter, der bidrog til at generere svaret. Når du klikker på et af kildedokumenterne, åbner Canvas en forhåndsvisning af dokumentet, der fremhæver det uddrag, der bruges af FM.

Konklusion

Conversational AI har et enormt potentiale til at transformere kunde- og medarbejderoplevelse ved at give en menneskelignende assistent naturlige og intuitive interaktioner såsom:

• Udførelse af research om et emne eller søg og gennemse organisationens vidensbase
• Opsummere mængder af indhold for hurtigt at indsamle indsigt
• Søgning efter entiteter, følelser, PII og andre nyttige data og forøgelse af forretningsværdien af ​​ustruktureret indhold
• Generering af kladder til dokumenter og forretningskorrespondance
• Oprettelse af vidensartikler fra forskellige interne kilder (hændelser, chatlogs, wikier)

Den innovative integration af chatgrænseflader, videnhentning og FM'er gør det muligt for virksomheder at give nøjagtige, relevante svar på brugerspørgsmål ved at bruge deres domæneviden og sandhedskilder.

Ved at forbinde SageMaker Canvas til vidensbaser i Amazon Kendra kan organisationer beholde deres proprietære data i deres eget miljø, mens de stadig drager fordel af FM'ers avancerede naturlige sprogegenskaber. Med lanceringen af ​​SageMaker Canvas' Query Documents-funktion gør vi det nemt for enhver virksomhed at bruge LLM'er og deres virksomhedsviden som kilde til sandhed for at skabe en sikker chatoplevelse. Al denne funktionalitet er tilgængelig i et no-code format, hvilket giver virksomheder mulighed for at undgå at håndtere de gentagne og ikke-specialiserede opgaver.

For at lære mere om SageMaker Canvas og hvordan det hjælper med at gøre det nemmere for alle at starte med Machine Learning, tjek SageMaker Canvas meddelelse. Lær mere om, hvordan SageMaker Canvas hjælper med at fremme samarbejdet mellem dataforskere og forretningsanalytikere ved at læse Byg, del og implementer indlæg. Til sidst, for at lære, hvordan du opretter din egen Retrieval Augmented Generation-arbejdsgang, se SageMaker JumpStart RAG.

Referencer

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., Kiela, D. (2020). Retrieval-Augmented Generation til viden-intensive NLP-opgaver. Fremskridt inden for neurale informationsbehandlingssystemer, 33, 9459-9474.

---

Om forfatterne

Davide Gallitelli er Senior Specialist Solutions Architect for AI/ML. Han er baseret i Bruxelles og arbejder tæt sammen med kunder over hele kloden, der ønsker at anvende Low-Code/No-Code Machine Learning-teknologier og Generativ AI. Han har været udvikler, siden han var meget ung, og begyndte at kode i en alder af 7. Han begyndte at lære AI/ML på universitetet, og er blevet forelsket i det siden da.

Bilal Alam er Enterprise Solutions Architect hos AWS med fokus på Financial Services-branchen. På de fleste dage hjælper Bilal kunder med at opbygge, løfte og sikre deres AWS-miljø for at implementere deres mest kritiske arbejdsbelastninger. Han har stor erfaring med telekommunikation, netværk og softwareudvikling. På det seneste har han undersøgt at bruge AI/ML til at løse forretningsproblemer.

Pashmeen Mistry er Senior Product Manager hos AWS. Uden for arbejdet nyder Pashmeen eventyrlige vandreture, fotografering og at tilbringe tid med sin familie.

Dan Sinnreich er Senior Product Manager hos AWS, der hjælper med at demokratisere lav-kode/no-code maskinlæring. Før AWS byggede og kommercialiserede Dan enterprise SaaS-platforme og tidsseriemodeller, der blev brugt af institutionelle investorer til at styre risiko og konstruere optimale porteføljer. Uden for arbejdet kan du finde ham, der spiller hockey, dykning og læser science fiction.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/