Võimaldage oma ärikasutajaid Amazon SageMaker Canvas Generative AI abil ettevõtte dokumentidest teadmisi ammutada | Amazoni veebiteenused

Ettevõtted püüavad kasutada masinõppe (ML) potentsiaali keeruliste probleemide lahendamiseks ja tulemuste parandamiseks. Kuni viimase ajani nõudis ML-mudelite loomine ja juurutamine sügavaid tehnilisi ja kodeerimisoskusi, sealhulgas ML-mudelite häälestamist ja töötavate torujuhtmete hooldamist. Alates selle kasutuselevõtust 2021. Amazon SageMakeri lõuend on võimaldanud ärianalüütikutel luua, juurutada ja kasutada mitmesuguseid ML-mudeleid – sealhulgas tabelit, arvutinägemust ja loomuliku keele töötlemist – ilma koodirida kirjutamata. See on kiirendanud ettevõtete võimet rakendada ML-i selliste juhtumite kasutamiseks nagu aegridade prognoosimine, klientide vähenemise prognoosimine, sentimentide analüüs, tööstusdefektide tuvastamine ja paljud teised.

Nagu kuulutati edasi Oktoober 5, 2023, SageMaker Canvas laiendas oma mudelite tuge alusmudelitele (FM-idele) – suurtele keelemudelitele, mida kasutatakse sisu genereerimiseks ja kokkuvõtmiseks. Koos Väljalase 12. oktoober 2023, SageMaker Canvas võimaldab kasutajatel esitada küsimusi ja saada vastuseid, mis põhinevad nende ettevõtte andmetel. See tagab, et tulemused on kontekstipõhised, avades täiendavaid kasutusjuhtumeid, kus äriprobleemide lahendamiseks saab rakendada koodita ML-i. Näiteks saavad ärimeeskonnad nüüd formuleerida vastuseid, mis vastavad organisatsiooni spetsiifilisele sõnavarale ja põhimõtetele, ning saavad kiiremini otsida pikki dokumente, et saada konkreetseid ja nende dokumentide sisule vastavaid vastuseid. Kogu seda sisu esitatakse privaatsel ja turvalisel viisil, tagades, et kõikidele tundlikele andmetele pääseb juurde nõuetekohase juhtimise ja kaitsemeetmetega.

Alustamiseks konfigureerib ja sisestab pilveadministraator Amazon Kendra indekseerib ettevõtte andmetega SageMaker Canvase andmeallikatena. Lõuendi kasutajad valivad indeksi, kus nende dokumendid asuvad, ning saavad ideid teha, uurida ja uurida, teades, et väljundit toetavad alati nende tõeallikad. SageMaker Canvas kasutab nüüdisaegseid FM-e alates Amazonase aluspõhi ja Amazon SageMaker JumpStart. Vestlusi saab alustada mitme FM-iga kõrvuti, võrrelda väljundeid ja muutes generatiivse AI tõeliselt kõigile kättesaadavaks.

Selles postituses vaatame üle hiljuti välja antud funktsiooni, arutame arhitektuuri ja esitame samm-sammulise juhendi, mis võimaldab SageMaker Canvas'il teie teadmistebaasist dokumente päringuid teha, nagu on näidatud järgmises ekraanipildis.

Lahenduse ülevaade

Vundamendimudelid võivad tekitada hallutsinatsioone – vastuseid, mis on üldised, ebamäärased, mitteseotud või faktiliselt valed. Retrieval Augmented Generation (RAG) on sageli kasutatav meetod hallutsinatsioonide vähendamiseks. RAG-arhitektuure kasutatakse andmete hankimiseks väljastpoolt FM-i, mida seejärel kasutatakse kontekstis õppimiseks, et vastata kasutaja päringule. See tagab, et FM saab kasutada usaldusväärse teadmistebaasi andmeid ja kasutada neid teadmisi kasutajate küsimustele vastamiseks, vähendades hallutsinatsioonide riski.

RAG-iga võivad FM-i välised andmed, mida kasutatakse kasutajate viipade täiendamiseks, pärineda mitmest erinevast andmeallikast, näiteks dokumendihoidlatest, andmebaasidest või API-dest. Esimene samm on asjakohasuse semantilise otsingu tegemiseks teisendada oma dokumendid ja kõik kasutajapäringud ühilduvasse vormingusse. Vormingute ühilduvuse tagamiseks teisendatakse dokumendikogu või teadmiste teek ja kasutajate esitatud päringud manustusmudelite abil numbriteks.

Selle versiooniga pakutakse RAG-i funktsioone ilma koodita ja sujuvalt. Ettevõtted saavad rikastada Canvas vestluskogemust Amazon Kendraga kui aluseks oleva teadmistehaldussüsteemiga. Järgnev diagramm illustreerib lahenduse arhitektuuri.

SageMaker Canvase ühendamine Amazon Kendraga nõuab ühekordset seadistamist. Me kirjeldame häälestusprotsessi üksikasjalikult jaotises Lõuendi seadistamine dokumentide päringute tegemiseks. Kui te pole veel oma SageMakeri domeeni seadistanud, vaadake Sisseehitatud Amazon SageMakeri domeeniga.

Domeeni konfiguratsiooni osana saab pilveadministraator valida ühe või mitu Kendra indeksit, mida ärianalüütik saab SageMaker Canvase kaudu FM-iga suhtlemisel küsida.

Kui Kendra indeksid on hüdreeritud ja konfigureeritud, kasutavad ärianalüütikud neid koos SageMaker Canvasega, alustades uut vestlust ja valides lüliti „Dokumentide päring”. SageMaker Canvas haldab seejärel Amazon Kendra ja valitud FM-i vahelist suhtlust järgmiste toimingute tegemiseks:

1. Küsige Kendra indekseid kasutajalt tuleva küsimusega.
2. Hankige väljavõtted (ja allikad) Kendra indeksitest.
3. Koostage viip koos algse päringuga katkenditega, et vundamendimudel saaks otsitud dokumentidest vastuse genereerida.
4. Esitage kasutajale loodud vastus koos viidetega lehtedele/dokumentidele, mida vastuse koostamisel kasutati.

Lõuendi seadistamine dokumentide päringute tegemiseks

Selles jaotises tutvustame teid Kendra indeksite kaudu edastatavate dokumentide päringute tegemiseks Canvase seadistamiseks. Teil peaksid olema järgmised eeltingimused:

• SageMakeri domeeni seadistamine – Sisseehitatud Amazon SageMakeri domeeniga
• Loo Kendra indeks (või rohkem kui üks)
• Seadistage Kendra Amazon S3 pistik – järgige juhiseid Amazon S3 pistik – ja laadige PDF-failid ja muud dokumendid Kendra indeksiga seotud Amazon S3 ämbrisse
• Seadistage IAM nii, et Canvasel oleks asjakohased õigused, sealhulgas need, mis on vajalikud Amazon Bedrocki ja/või SageMakeri lõpp-punktide helistamiseks – järgige Lõuendivestluse seadistamine dokumentatsioon

Nüüd saate domeeni värskendada, et see pääseks juurde soovitud indeksitele. SageMakeri konsoolis valige antud domeeni jaoks vahekaardil Domeeni sätted Redigeeri. Lubage lüliti "Luba päringudokumendid Amazon Kendraga", mille leiate lõuendi seadete sammust. Pärast aktiveerimist valige üks või mitu Kendra indeksit, mida soovite Canvasega kasutada.

See on kõik, mida on vaja Canvas päringudokumentide funktsiooni konfigureerimiseks. Kasutajad saavad nüüd hüpata Canvas vestlusesse ja hakata kasutama Kendra indeksite kaudu domeenile lisatud teadmistebaase. Teadmistebaasi hooldajad saavad jätkata tõeallika uuendamist ja Kendra sünkroonimisvõimalusega saavad vestluskasutajad ajakohast teavet automaatselt sujuvalt kasutada.

Funktsiooni Päring Dokumendid kasutamine vestluseks

SageMaker Canvase kasutajana pääseb dokumentide päringu funktsioonile juurde vestluse kaudu. Vestlusseansi alustamiseks klõpsake või otsige SageMaker Canvas vahekaardil Kasutusvalmis mudelid nuppu „Sisu loomine, ekstraktimine ja kokkuvõte”.

Kui olete seal, saate ekraani ülaosas oleva lülitiga funktsiooni Päring Dokumendid sisse ja välja lülitada. Funktsiooni kohta lisateabe saamiseks vaadake teabeviipa.

Kui päringu dokumendid on lubatud, saate valida pilvadministraatori lubatud Kendra indeksite loendi hulgast.

Uue vestluse alustamisel saate valida indeksi. Seejärel saate UX-is esitada küsimuse, teadmised hangitakse automaatselt valitud registrist. Pange tähele, et pärast vestluse alustamist kindla registri alusel ei ole võimalik teisele registrile lülituda.

Esitatud küsimuste puhul kuvatakse vestluses FM-i loodud vastus koos vastuse genereerimisele kaasa aidanud algdokumentidega. Kui klõpsate mõnel lähtedokumendil, avab Canvas dokumendi eelvaate, tõstes esile FM-i kasutatud väljavõtte.

Järeldus

Vestluspõhisel AI-l on tohutu potentsiaal muuta klientide ja töötajate kogemusi, pakkudes inimesesarnast assistenti loomuliku ja intuitiivse suhtlusega, näiteks:

• Teema kohta uurimistööd või organisatsiooni teadmistebaasi otsimine ja sirvimine
• Sisu koguste kokkuvõtete tegemine, et kiiresti teadmisi koguda
• Olemite, tunnete, isikuandmete ja muude kasulike andmete otsimine ning struktureerimata sisu äriväärtuse suurendamine
• Dokumentide ja ärikirjavahetuse mustandite koostamine
• Teadmusartiklite loomine erinevatest sisemistest allikatest (intsidendid, vestluslogid, vikid)

Vestlusliideste, teadmiste hankimise ja FM-ide uuenduslik integreerimine võimaldab ettevõtetel pakkuda täpseid ja asjakohaseid vastuseid kasutajate küsimustele, kasutades oma domeeniteadmisi ja tõeallikaid.

Ühendades SageMaker Canvase Amazon Kendra teadmistebaasidega, saavad organisatsioonid hoida oma varalisi andmeid oma keskkonnas, saades samal ajal kasu FM-ide moodsatest loomuliku keele võimalustest. SageMaker Canvas'i päringudokumentide funktsiooni käivitamisega teeme kõikidele ettevõtetele lihtsaks kasutada LLM-e ja nende ettevõtteteadmisi tõeallikana turvalise vestluskogemuse loomiseks. Kõik need funktsioonid on saadaval ilma koodita vormingus, mis võimaldab ettevõtetel vältida korduvate ja mittespetsialiseerunud toimingute tegemist.

Lisateavet SageMaker Canvase kohta ja selle kohta, kuidas see hõlbustab masinõppega alustamist, vaadake SageMaker Canvas teadaanne. Lisateavet selle kohta, kuidas SageMaker Canvas aitab edendada koostööd andmeteadlaste ja ärianalüütikute vahel, lugege Ehitage, jagage ja juurutage postitus. Lõpuks, et õppida, kuidas luua oma otsingu laiendatud genereerimise töövoogu, vaadake artiklit SageMaker JumpStart RAG.

viited

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., Kiela, D. (2020). Otsimisega täiendatud genereerimine teadmistemahukate NLP-ülesannete jaoks. Edusammud närviteabe töötlemise süsteemides, 33, 9459-9474.

---

Autoritest

Davide Gallitelli on AI/ML-i vanemspetsialist lahenduste arhitekt. Ta asub Brüsselis ja teeb tihedat koostööd klientidega üle kogu maailma, kes soovivad kasutusele võtta madala koodi/koodita masinõppe tehnoloogiaid ja generatiivset AI-d. Ta on olnud arendaja väga noorest peale, alustades kodeerimisega 7-aastaselt. Ta alustas AI/ML õppimist ülikoolis ja on sellest ajast peale sellesse armunud.

Bilal Alam on ettevõtte lahenduste arhitekt AWSis, keskendudes finantsteenuste sektorile. Enamikul päevadel aitab Bilal klientidel luua, täiustada ja kindlustada AWS-i keskkonda, et rakendada nende kõige kriitilisemad töökoormused. Tal on laialdased kogemused Telco, võrgunduse ja tarkvaraarenduse vallas. Viimasel ajal on ta uurinud AI/ML kasutamist äriprobleemide lahendamiseks.

Pashmeen Mistry on AWS-i vanemtootejuht. Väljaspool tööd naudib Pashmeen seikluslikke matku, fotograafiat ja perega aja veetmist.

Dan Sinnreich on AWS-i vanem tootejuht, kes aitab demokratiseerida madala koodiga/koodita masinõpet. Enne AWS-i ehitas Dan ettevõtte SaaS-i platvorme ja aegridade mudeleid, mida institutsionaalsed investorid kasutasid riskide haldamiseks ja optimaalsete portfellide loomiseks. Väljaspool tööd võib teda kohata hokit mängimas, sukeldumas ja ulmet lugemas.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/