Üks kõige kasulikumaid rakendusmustreid generatiivsete tehisintellekti töökoormuste jaoks on Retrieval Augmented Generation (RAG). RAG-mustris leiame sisestusviibaga seotud viitesisu tükid, tehes manustuste sarnasuse otsinguid. Manustused hõivavad teabesisu tekstiosadesse, võimaldades loomuliku keele töötlemise (NLP) mudelitel töötada keelega numbrilisel kujul. Manused on vaid ujukomaarvude vektorid, nii et saame neid analüüsida, et aidata vastata kolmele olulisele küsimusele: kas meie võrdlusandmed muutuvad aja jooksul? Kas kasutajate esitatud küsimused muutuvad aja jooksul? Ja lõpuks, kui hästi katavad meie võrdlusandmed esitatud küsimusi?
Sellest postitusest saate teada mõningate aspektide kohta, mis on seotud vektoranalüüsi manustamise ja manustamise triivi signaalide tuvastamisega. Kuna manused on üldiselt NLP-mudelite ja eelkõige generatiivsete AI-lahenduste jaoks oluline andmeallikas, vajame viisi, kuidas mõõta, kas meie manused aja jooksul muutuvad (triivivad). Selles postituses näete näidet triivi tuvastamise teostamisest vektorite manustamisel, kasutades klasterdamistehnikat suurte keelemudelitega (LLMS), mis on juurutatud Amazon SageMaker JumpStart. Samuti saate neid kontseptsioone uurida kahe esitatud näite kaudu, sealhulgas täieliku näidisrakenduse või soovi korral rakenduse alamhulga.
RAG ülevaade
. RAG muster võimaldab hankida teadmisi välistest allikatest, näiteks PDF-dokumentidest, vikiartiklitest või kõnede ärakirjadest, ning seejärel kasutada neid teadmisi LLM-ile saadetud juhiste täiendamiseks. See võimaldab LLM-il vastuse loomisel viidata asjakohasemale teabele. Näiteks kui küsite LLM-ilt, kuidas šokolaadiküpsiseid valmistada, võib see sisaldada teavet teie enda retseptikogust. Selles mustris teisendatakse retsepti tekst manustamismudelit kasutades manustusvektoriteks ja salvestatakse vektorite andmebaasi. Sissetulevad küsimused teisendatakse manusteks ja seejärel käivitab vektorandmebaas seotud sisu leidmiseks sarnasuse otsingu. Seejärel lähevad küsimus ja viiteandmed LLM-i viipa.
Vaatame lähemalt loodavaid manustamisvektoreid ja nende vektorite triivianalüüsi teostamist.
Manusvektorite analüüs
Manusvektorid on meie andmete numbrilised esitused, nii et nende vektorite analüüs võib anda ülevaate meie võrdlusandmetest, mida saab hiljem kasutada potentsiaalsete triivisignaalide tuvastamiseks. Põimimisvektorid esindavad üksust n-mõõtmelises ruumis, kus n on sageli suur. Näiteks selles postituses kasutatav mudel GPT-J 6B loob vektoreid suurusega 4096. Triivi mõõtmiseks eeldame, et meie rakendus jäädvustab nii võrdlusandmete kui ka sissetulevate viipade manustamisvektorid.
Alustuseks teostame mõõtmete vähendamise, kasutades põhikomponentide analüüsi (PCA). PCA püüab vähendada mõõtmete arvu, säilitades samal ajal suurema osa andmete dispersioonist. Sel juhul püüame leida dimensioonide arvu, mis säilitab 95% dispersioonist, mis peaks jäädvustama kõike kahe standardhälbe piires.
Seejärel kasutame K-Meansi klastri keskuste komplekti tuvastamiseks. K-Means püüab rühmitada punkte kokku klastriteks nii, et iga klaster oleks suhteliselt kompaktne ja klastrid oleksid üksteisest võimalikult kaugel.
Arvutame järgmise teabe järgmisel joonisel näidatud klastrite väljundi põhjal:
- PCA dimensioonide arv, mis selgitavad 95% dispersioonist
- Iga klastri keskuse või tsentroidi asukoht
Lisaks vaatame proovide osakaalu (suurem või väiksem) igas klastris, nagu on näidatud järgmisel joonisel.
Lõpuks kasutame seda analüüsi järgmise arvutamiseks:
- Inerts – Inerts on klastrite tsentroidide kauguste ruudu summa, mis mõõdab, kui hästi andmed K-keskmiste abil rühmitati.
- Silueti skoor – Silueti skoor on klastrite järjepidevuse valideerimise mõõdik, mis jääb vahemikku –1 kuni 1. 1-le lähedane väärtus tähendab, et klastri punktid on lähedased teistele sama klastri punktidele ja kaugel teiste klastrite punktid. Silueti skoori visuaalne esitus on näha järgmisel joonisel.
Saame seda teavet perioodiliselt jäädvustada nii lähteandmete kui ka viipade manustuste hetktõmmiste jaoks. Nende andmete jäädvustamine võimaldab meil analüüsida võimalikke signaale kinnistamise triivi kohta.
Manustamise triivi tuvastamine
Perioodiliselt saame võrrelda rühmitusteavet andmete hetktõmmiste kaudu, mis hõlmavad viiteandmete manuseid ja viipasid. Esiteks saame võrrelda mõõtmete arvu, mis on vajalikud, et selgitada 95% manustamisandmete varieerumist, inertsi ja klastrite moodustamise töö silueti skoori. Nagu näete järgmisest tabelist, nõuab uusim manustamiste hetktõmmis algtasemega võrreldes veel 39 dimensiooni, et selgitada dispersiooni, mis näitab, et meie andmed on hajutatumad. Inerts on suurenenud, mis näitab, et proovid on kokkuvõttes oma klastri keskustest kaugemal. Lisaks on silueti skoor langenud, mis näitab, et klastrid ei ole nii täpselt määratletud. Kiirete andmete korral võib see viidata sellele, et süsteemi tulevad küsimused hõlmavad rohkem teemasid.
Järgmisena näeme järgmisel joonisel, kuidas valimite osakaal igas klastris on aja jooksul muutunud. See võib meile näidata, kas meie uuemad võrdlusandmed on üldjoontes sarnased eelmise kogumiga või hõlmavad uusi valdkondi.
Lõpuks näeme, kas klastri keskused liiguvad, mis näitab klastrite teabe triivi, nagu on näidatud järgmises tabelis.
Sissetulevate küsimuste viiteandmete katvus
Samuti saame hinnata, kui hästi meie võrdlusandmed vastavad sissetulevate küsimustega. Selleks määrame iga viipa manustamise viiteandmete klastrisse. Arvutame kauguse igast viipast selle vastava keskpunktini ja vaatame nende kauguste keskmist, mediaani ja standardhälvet. Saame selle teabe salvestada ja vaadata, kuidas see aja jooksul muutub.
Järgmisel joonisel on näide viipa manustamise ja võrdlusandmekeskuste vahelise kauguse analüüsist aja jooksul.
Nagu näete, väheneb viipade manuste ja võrdlusandmekeskuste vahelise kauguse keskmine, mediaan ja standardhälbe statistika esialgse algtaseme ja viimase hetkepildi vahel. Kuigi kauguse absoluutväärtust on raske tõlgendada, saame suundumuste abil kindlaks teha, kas võrdlusandmete ja sissetulevate küsimuste semantiline kattumine muutub aja jooksul paremaks või halvemaks.
Taotluse näidis
Eelmises jaotises käsitletud katsetulemuste kogumiseks koostasime näidisrakenduse, mis rakendab RAG-mustrit, kasutades SageMaker JumpStarti kaudu juurutatud ja veebilehel hostitud manustamis- ja genereerimismudeleid. Amazon SageMaker reaalajas lõpp-punktid.
Rakendusel on kolm põhikomponenti:
- Kasutame interaktiivset voogu, mis sisaldab kasutajaliidest viipade jäädvustamiseks koos RAG-i orkestreerimiskihiga, kasutades LangChaini.
- Andmetöötlusvoog eraldab andmed PDF-dokumentidest ja loob manuseid, mis salvestatakse Amazon OpenSearchi teenus. Kasutame neid ka rakenduse viimases manustamise triivianalüüsi komponendis.
- Manused on jäädvustatud Amazoni lihtne salvestusteenus (Amazon S3) kaudu Amazon Kinesis Data Firehose, ja kasutame kombinatsiooni AWS liim ekstraktida, teisendada ja laadida (ETL) töid ja Jupyteri sülearvuteid manustamisanalüüsi tegemiseks.
Järgmine diagramm illustreerib otsast lõpuni arhitektuuri.
Täielik näidiskood on saadaval aadressil GitHub. Pakutav kood on saadaval kahe erineva mustriga:
- Streamliti esiservaga täispinu rakenduse näidis – See pakub täielikku rakendust, sealhulgas kasutajaliidest, mis kasutab Streamlitit viipade jäädvustamiseks koos RAG-i orkestreerimiskihiga, kasutades LangChaini, mis töötab Amazoni elastsete konteinerite teenus (Amazon ECS) koos AWS Fargate
- Taustarakendus - Neile, kes ei soovi juurutada täielikku rakenduste pinu, saate valikuliselt juurutada ainult taustaprogrammi AWS pilvearenduskomplekt (AWS CDK) virna ja seejärel kasutage kaasasolevat Jupyteri sülearvutit RAG orkestreerimiseks LangChaini abil
Pakutud mustrite loomiseks on järgmistes jaotistes üksikasjalikult kirjeldatud mitmeid eeltingimusi, alustades generatiivse ja teksti manustamise mudelite juurutamisest, seejärel liikudes edasi täiendavate eeltingimusteni.
Mudelite juurutamine SageMaker JumpStarti kaudu
Mõlemad mustrid eeldavad manustamismudeli ja generatiivse mudeli kasutuselevõttu. Selleks juurutage SageMaker JumpStart kaks mudelit. Esimest mudelit GPT-J 6B kasutatakse manustamismudelina ja teist mudelit Falcon-40b kasutatakse teksti genereerimiseks.
Kõiki neid mudeleid saate juurutada SageMaker JumpStarti kaudu AWS-i juhtimiskonsool, Amazon SageMaker Studiovõi programmiliselt. Lisateabe saamiseks vaadake JumpStart vundamendimudelite kasutamine. Juurutamise lihtsustamiseks võite kasutada kaasa antud märkmik tuletatud SageMaker JumpStarti automaatselt loodud sülearvutitest. See sülearvuti tõmbab mudelid SageMakeri JumpStart ML-i jaoturist ja juurutab need kahte erinevasse SageMakeri reaalajas lõpp-punkti.
Näidismärkmikus on ka puhastusosa. Ärge seda jaotist veel käivitage, kuna see kustutab äsja juurutatud lõpp-punktid. Lõpetate puhastamise juhendi lõpus.
Pärast lõpp-punktide eduka juurutamise kinnitamist olete valmis juurutama kogu näidisrakenduse. Kui aga olete rohkem huvitatud ainult tausta- ja analüüsimärkmike uurimisest, saate valikuliselt juurutada ainult selle, mida käsitletakse järgmises jaotises.
Valik 1: juurutage ainult taustarakendus
See muster võimaldab juurutada ainult taustalahendust ja suhelda lahendusega Jupyteri sülearvuti abil. Kasutage seda mustrit, kui te ei soovi kogu kasutajaliidest välja ehitada.
Eeldused
Teil peaksid olema järgmised eeltingimused:
- SageMaker JumpStart mudeli lõpp-punkt on juurutatud – juurutage mudelid SageMakeri reaalajas lõpp-punktidesse, kasutades SageMaker JumpStart, nagu eelnevalt kirjeldatud
- Juurutamise parameetrid – Salvestage järgmised andmed:
- Tekstimudeli lõpp-punkti nimi – SageMaker JumpStartiga juurutatud teksti genereerimise mudeli lõpp-punkti nimi
- Manustatud mudeli lõpp-punkti nimi – SageMaker JumpStartiga juurutatud manustamismudeli lõpp-punkti nimi
Juurutage ressursid AWS CDK abil
Kasutage AWS CDK virna juurutamiseks eelmises jaotises märgitud juurutusparameetreid. AWS CDK installimise kohta lisateabe saamiseks vaadake AWS CDK-ga alustamine.
Veenduge, et Docker oleks installitud ja töötaks tööjaamas, mida kasutatakse AWS CDK juurutamiseks. Viitama Hankige Docker täiendavate juhiste saamiseks.
Teise võimalusena saate kontekstiväärtused sisestada faili nimega cdk.context.json
aasta pattern1-rag/cdk
kataloog ja käivitage cdk deploy BackendStack --exclusively
.
Juurutamine prindib välja väljundid, millest osa on sülearvuti käitamiseks vajalik. Enne küsimuste ja vastuste alustamist manustage viitedokumendid, nagu on näidatud järgmises jaotises.
Manustage viitedokumendid
Selle RAG-meetodi puhul manustatakse viitedokumendid esmalt teksti manustamismudeliga ja salvestatakse vektorandmebaasi. Selle lahenduse puhul on ehitatud sissevõtutoru, mis võtab vastu PDF-dokumente.
An Amazon Elastic Compute Cloud (Amazon EC2) eksemplar on loodud PDF-dokumentide allaneelamiseks ja Amazon elastne failisüsteem (Amazon EFS) failisüsteem on PDF-dokumentide salvestamiseks paigaldatud EC2 eksemplarile. An AWS DataSync ülesanne käivitatakse iga tund, et tuua EFS-i failisüsteemi teelt leitud PDF-dokumendid ja laadida need üles S3 ämbrisse, et alustada teksti manustamist. See protsess manustab viitedokumendid ja salvestab manused OpenSearch Service'is. Samuti salvestab see Kinesis Data Firehose'i kaudu manustamisarhiivi S3 ämbrisse hilisemaks analüüsiks.
Viitedokumentide allaneelamiseks toimige järgmiselt.
- Hankige loodud EC2 eksemplari ID näidis (vt AWS CDK väljundit
JumpHostId
) ja ühendage kasutades Session Manager, võime AWS-i süsteemihaldur. Juhiste saamiseks vaadake Ühendage oma Linuxi eksemplariga AWS Systems Manageri seansihalduriga. - Minge kataloogi
/mnt/efs/fs1
, kuhu on ühendatud EFS-failisüsteem, ja looge kaust nimegaingest
: - Lisage oma viite-PDF-dokumendid lehele
ingest
kataloog.
DataSynci ülesanne on konfigureeritud üles laadima kõik selles kataloogis leitud failid Amazon S3-sse, et alustada manustamisprotsessi.
DataSynci ülesanne töötab tunniplaani alusel; saate valikuliselt käivitada ülesande käsitsi, et alustada lisatud PDF-dokumentide manustamisprotsessi kohe.
- Ülesande käivitamiseks leidke AWS CDK väljundist ülesande ID
DataSyncTaskID
ja alustada ülesannet vaikeseadetega.
Pärast manuste loomist saate alustada RAG-i küsimust ja vastamist Jupyteri märkmiku kaudu, nagu on näidatud järgmises jaotises.
Küsimused ja vastamine Jupyteri märkmiku abil
Tehke järgmised toimingud.
- Hankige AWS CDK väljundist SageMakeri märkmiku eksemplari nimi
NotebookInstanceName
ja ühendage SageMakeri konsoolist JupyterLabiga. - Minge kataloogi
fmops/full-stack/pattern1-rag/notebooks/
. - Avage ja käivitage märkmik
query-llm.ipynb
sülearvuti eksemplaris küsimuste ja vastuste esitamiseks RAG-i abil.
Kasutage kindlasti conda_python3
kernel sülearvuti jaoks.
See muster on kasulik taustalahenduse uurimiseks, ilma et oleks vaja luua täiendavaid eeltingimusi, mis on vajalikud täispinu rakenduse jaoks. Järgmine jaotis käsitleb täispinu rakenduse rakendamist, sealhulgas nii esi- kui ka taustakomponente, et pakkuda kasutajaliidest teie generatiivse AI-rakendusega suhtlemiseks.
Valik 2: juurutage täispinu näidisrakendus Streamlit-liidesega
See muster võimaldab teil juurutada lahenduse küsimuste ja vastamise kasutajaliidesega.
Eeldused
Näidisrakenduse juurutamiseks peavad teil olema järgmised eeltingimused.
- SageMaker JumpStart mudeli lõpp-punkt on juurutatud – Juurutage mudelid oma SageMakeri reaalajas lõpp-punktidesse, kasutades SageMaker JumpStart, nagu on kirjeldatud eelmises jaotises, kasutades kaasasolevaid märkmikke.
- Amazon Route 53 hostitud tsoon - Loo Amazoni tee 53 avalik hostitud tsoon selle lahenduse jaoks kasutada. Võite kasutada ka olemasolevat Route 53 avalikku hostitud tsooni, näiteks
example.com
. - AWS-i sertifikaadihalduri sertifikaat – Säte an AWS-i sertifikaadihaldur (ACM) TLS-sertifikaat Route 53 hostitud tsooni domeeninime ja selle kohaldatavate alamdomeenide jaoks, nagu
example.com
ja*.example.com
kõigi alamdomeenide jaoks. Juhiste saamiseks vaadake Avaliku sertifikaadi taotlemine. Seda sertifikaati kasutatakse HTTPS-i sisselülitamiseks Amazon CloudFront ja algne koormuse tasakaalustaja. - Juurutamise parameetrid – Salvestage järgmised andmed:
- Esiprogrammi kohandatud domeeninimi – kohandatud domeeninimi, mida kasutatakse kasutajaliidese näidisrakendusele juurdepääsuks. Esitatud domeeninime kasutatakse Route 53 DNS-kirje loomiseks, mis osutab esiotsa CloudFronti distributsioonile; näiteks,
app.example.com
. - Koormuse tasakaalustaja päritolu kohandatud domeeninimi – Kohandatud domeeninimi, mida kasutatakse CloudFronti levitamise koormuse tasakaalustaja lähtekoha jaoks. Esitatud domeeninime kasutatakse Route 53 DNS-kirje loomiseks, mis osutab lähtekoha koormuse tasakaalustajale; näiteks,
app-lb.example.com
. - Marsruudi 53 hostitud tsooni ID – Route 53 hostitud tsooni ID pakutavate kohandatud domeeninimede majutamiseks; näiteks,
ZXXXXXXXXYYYYYYYYY
. - Marsruudi 53 hostitud tsooni nimi – Route 53 hostitud tsooni nimi, kus majutatakse pakutud kohandatud domeeninimesid; näiteks,
example.com
. - ACM-i sertifikaat ARN – ACM-sertifikaadi ARN, mida kasutatakse koos esitatud kohandatud domeeniga.
- Tekstimudeli lõpp-punkti nimi – SageMaker JumpStartiga juurutatud teksti genereerimise mudeli lõpp-punkti nimi.
- Manustatud mudeli lõpp-punkti nimi – SageMaker JumpStartiga juurutatud manustamismudeli lõpp-punkti nimi.
- Esiprogrammi kohandatud domeeninimi – kohandatud domeeninimi, mida kasutatakse kasutajaliidese näidisrakendusele juurdepääsuks. Esitatud domeeninime kasutatakse Route 53 DNS-kirje loomiseks, mis osutab esiotsa CloudFronti distributsioonile; näiteks,
Juurutage ressursid AWS CDK abil
Kasutage AWS-i CDK-virna juurutamiseks eeltingimustes märgitud juurutusparameetreid. Lisateabe saamiseks vaadake AWS CDK-ga alustamine.
Veenduge, et Docker oleks installitud ja töötaks tööjaamas, mida kasutatakse AWS CDK juurutamiseks.
Eelmises koodis tähistab -c kontekstiväärtust nõutavate eeltingimuste kujul, mis esitatakse sisendil. Teise võimalusena saate kontekstiväärtused sisestada faili nimega cdk.context.json
aasta pattern1-rag/cdk
kataloog ja käivitage cdk deploy --all
.
Pange tähele, et määrame failis piirkonna bin/cdk.ts
. ALB juurdepääsulogide konfigureerimiseks on vaja määratud piirkonda. Saate seda piirkonda enne juurutamist muuta.
Juurutamine prindib rakenduse Streamlit juurdepääsuks URL-i. Enne küsimuste ja vastamise alustamist peate manustama viitedokumendid, nagu on näidatud järgmises jaotises.
Manustage viitedokumendid
RAG-meetodi puhul manustatakse viitedokumendid esmalt teksti manustamismudeliga ja salvestatakse vektorandmebaasi. Selle lahenduse puhul on ehitatud sissevõtutoru, mis võtab vastu PDF-dokumente.
Nagu arutasime esimeses juurutamisvalikus, on PDF-dokumentide allaneelamiseks loodud EC2 näide ja EC2-eksemplarile on PDF-dokumentide salvestamiseks ühendatud EFS-failisüsteem. Iga tund käivitatakse DataSynci ülesanne, et tuua EFS-i failisüsteemi teelt leitud PDF-dokumendid ja laadida need üles S3 ämbrisse, et alustada teksti manustamist. See protsess manustab viitedokumendid ja salvestab manused OpenSearch Service'is. Samuti salvestab see Kinesis Data Firehose'i kaudu manustamisarhiivi S3 ämbrisse hilisemaks analüüsiks.
Viitedokumentide allaneelamiseks toimige järgmiselt.
- Hankige loodud EC2 eksemplari ID näidis (vt AWS CDK väljundit
JumpHostId
) ja ühendage seansihalduri abil. - Minge kataloogi
/mnt/efs/fs1
, kuhu on ühendatud EFS-failisüsteem, ja looge kaust nimegaingest
: - Lisage oma viite-PDF-dokumendid lehele
ingest
kataloog.
DataSynci ülesanne on konfigureeritud üles laadima kõik selles kataloogis leitud failid Amazon S3-sse, et alustada manustamisprotsessi.
DataSynci ülesanne töötab tunniplaani alusel. Saate valikuliselt käivitada ülesande käsitsi, et alustada lisatud PDF-dokumentide manustamisprotsessi kohe.
- Ülesande käivitamiseks leidke AWS CDK väljundist ülesande ID
DataSyncTaskID
ja alustada ülesannet vaikeseadetega.
Küsimus ja vastamine
Pärast viitedokumentide manustamist saate alustada RAG-i küsimuse ja vastamist, külastades Streamliti rakendusele juurdepääsu URL-i. An Amazon Cognito autentimiskihti kasutatakse, seega on rakendusele esmakordseks juurdepääsuks vaja luua kasutajakonto Amazon Cognito kasutajakogumis, mis on juurutatud AWS CDK kaudu (vaadake AWS CDK väljundit kasutajakogumi nime jaoks). Amazon Cognito kasutaja loomise juhiste saamiseks vaadake Uue kasutaja loomine AWS-i halduskonsoolis.
Manusta triivianalüüs
Selles jaotises näitame teile, kuidas teostada triivianalüüsi, luues esmalt võrdlusandmete manuste ja viipade manuste lähtejoone ning luues seejärel aja jooksul manustamiste hetktõmmise. See võimaldab võrrelda baasjoone manustamist hetktõmmise manustamistega.
Looge võrdlusandmete jaoks manustamise lähtejoon ja viip
Võrdlusandmete manustamise lähtejoone loomiseks avage AWS-liimi konsool ja valige ETL-töö embedding-drift-analysis
. Seadistage ETL-töö parameetrid järgmiselt ja käivitage töö:
- komplekt
--job_type
etBASELINE
. - komplekt
--out_table
Euroopa Amazon DynamoDB tabel viiteandmete manustamiseks. (Vaadake AWS CDK väljunditDriftTableReference
tabeli nime jaoks.) - komplekt
--centroid_table
tsentroidi viiteandmete saamiseks DynamoDB tabelisse. (Vaadake AWS CDK väljunditCentroidTableReference
tabeli nime jaoks.) - komplekt
--data_path
prefiksiga S3 ämbrisse; näiteks,s3://
/embeddingarchive/
. (Vaadake AWS CDK väljunditBucketName
ämbri nime jaoks.)
Samamoodi kasutades ETL tööd embedding-drift-analysis
, looge viipade manustamise lähtejoon. Seadistage ETL-töö parameetrid järgmiselt ja käivitage töö:
- komplekt
--job_type
etBASELINE
- komplekt
--out_table
DynamoDB tabelisse andmete kiireks manustamiseks. (Vaadake AWS CDK väljunditDriftTablePromptsName
tabeli nime jaoks.) - komplekt
--centroid_table
DynamoDB tabelisse, et saada kiireid tsentroidi andmeid. (Vaadake AWS CDK väljunditCentroidTablePrompts
tabeli nime jaoks.) - komplekt
--data_path
prefiksiga S3 ämbrisse; näiteks,s3://
/promptarchive/
. (Vaadake AWS CDK väljunditBucketName
ämbri nime jaoks.)
Looge viiteandmete jaoks manustamishetktõmmis ja küsige
Pärast OpenSearch Service'i lisateabe sisestamist käivitage ETL-töö embedding-drift-analysis
uuesti, et teha hetktõmmise viiteandmete manustest. Parameetrid on samad, mis ETL-tööl, mille käivitasite võrdlusandmete manustamise lähtejoone loomiseks, nagu näidatud eelmises jaotises, välja arvatud --job_type
parameeter SNAPSHOT
.
Samamoodi käivitage viipade manustuste hetkepildi tegemiseks ETL-töö embedding-drift-analysis
uuesti. Parameetrid on samad, mis ETL-i tööl, mille käivitasite viipade manustamise baasjoone loomiseks, nagu näidatud eelmises jaotises, välja arvatud --job_type
parameeter SNAPSHOT
.
Võrrelge lähtejoont hetkepildiga
Manustava baasjoone ja hetktõmmise võrdlemiseks võrdlusandmete ja viipade jaoks kasutage kaasasolevat märkmikku pattern1-rag/notebooks/drift-analysis.ipynb
.
Viiteandmete või viipade manustamise võrdluse vaatamiseks muutke DynamoDB tabeli nime muutujaid (tbl
ja c_tbl
) märkmikus vastavasse DynamoDB tabelisse sülearvuti iga käitamise jaoks.
Märkmiku muutuja tbl
tuleks muuta sobivaks triivitabeli nimeks. Järgmine on näide selle kohta, kus muutujat märkmikus konfigureerida.
Tabelite nimesid saab hankida järgmiselt:
- Manusandmete võrdlusandmete jaoks hankige triivitabeli nimi AWS CDK väljundist
DriftTableReference
- Andmete viipamiseks hankige triivitabeli nimi AWS CDK väljundist
DriftTablePromptsName
Lisaks märkmiku muutuja c_tbl
tuleks muuta sobivaks tsentroiditabeli nimeks. Järgmine on näide selle kohta, kus muutujat märkmikus konfigureerida.
Tabelite nimesid saab hankida järgmiselt:
- Manusandmete võrdlusandmete jaoks hankige AWS CDK väljundist tsentroiditabeli nimi
CentroidTableReference
- Andmete viipamiseks hankige AWS CDK väljundist tsentroiditabeli nimi
CentroidTablePrompts
Analüüsige viipe kaugust võrdlusandmetest
Esmalt käivitage AWS-liimi töö embedding-distance-analysis
. See töö selgitab välja, millisesse klastrisse iga viip kuulub K-Meansi võrdlusandmete manuste hindamise põhjal. Seejärel arvutab see iga viipa ja vastava klastri keskpunkti vahelise kauguse keskmise, mediaani ja standardhälbe.
Saate sülearvuti käivitada pattern1-rag/notebooks/distance-analysis.ipynb
et näha kaugusmõõdikute suundumusi aja jooksul. See annab teile ülevaate kiirete manustamiskauguste jaotuse üldisest suundumusest.
Märkmik pattern1-rag/notebooks/prompt-distance-outliers.ipynb
on AWS Glue märkmik, mis otsib kõrvalekaldeid, mis aitavad teil tuvastada, kas saate rohkem viipasid, mis ei ole seotud võrdlusandmetega.
Jälgige sarnasuse skoori
Kõik OpenSearch Service'i sarnasushinnangud on sisse logitud Amazon CloudWatch Vastavalt rag
nimeruum. Armatuurlaud RAG_Scores
näitab keskmist punktisummat ja kogutud skooride arvu.
Koristage
Edaspidiste tasude vältimiseks kustutage kõik loodud ressursid.
Kustutage juurutatud SageMakeri mudelid
Vaadake jaotise puhastamise jaotist toodud märkmiku näide juurutatud SageMaker JumpStart mudelite kustutamiseks või saate seda teha kustutage mudelid SageMakeri konsoolist.
Kustutage AWS CDK ressursid
Kui sisestasite oma parameetrid a cdk.context.json
faili, puhastage järgmiselt:
Kui sisestasite parameetrid käsureale ja juurutasite ainult taustarakenduse (taustaprogrammi AWS-i CDK-pinn), puhastage seda järgmiselt.
Kui sisestasite oma parameetrid käsureale ja juurutasite täislahenduse (esi- ja tagaprogrammi AWS-i CDK-virnad), puhastage seda järgmiselt.
Järeldus
Selles postituses esitasime toimiva näite rakendusest, mis salvestab nii võrdlusandmete kui ka generatiivse AI RAG-mustri viipade manustamisvektorid. Näitasime, kuidas teha rühmitusanalüüsi, et teha kindlaks, kas viite- või viipeandmed aja jooksul triivivad ja kui hästi viiteandmed katavad kasutajate küsitavaid küsimusi. Kui avastate triivi, võib see anda signaali, et keskkond on muutunud ja teie mudel saab uusi sisendeid, mille käsitlemiseks see ei pruugi olla optimeeritud. See võimaldab praegust mudelit ennetavalt hinnata muutuvate sisendite suhtes.
Autoritest
Abdullahi Olaoye on Amazon Web Servicesi (AWS) vanemlahenduste arhitekt. Abdullahil on Wichita osariigi ülikooli arvutivõrkude magistrikraad ja ta on avaldatud autor, kes on töötanud erinevates tehnoloogiavaldkondades, nagu DevOps, infrastruktuuri moderniseerimine ja AI. Praegu keskendub ta generatiivsele tehisintellektile ja mängib võtmerolli ettevõtete abistamisel Generative AI-l põhinevate tipptasemel lahenduste väljatöötamisel ja ehitamisel. Lisaks tehnoloogia valdkonnale leiab ta rõõmu uurimiskunstist. Kui AI-lahendusi ei loo, naudib ta perega reisimist, et uusi kohti avastada.
Randy DeFauw on AWS-i vanemlahenduste arhitekt. Tal on MSEE Michigani ülikoolist, kus ta töötas autonoomsete sõidukite arvutinägemise kallal. Tal on ka MBA kraad Colorado osariigi ülikoolist. Randy on olnud tehnoloogiavaldkonnas erinevatel ametikohtadel, alates tarkvaratehnikast kuni tootehalduseni. In sisenes suurandmete ruumi 2013. aastal ja jätkab selle valdkonna uurimist. Ta töötab aktiivselt ML-ruumi projektidega ja on esinenud paljudel konverentsidel, sealhulgas Strata ja GlueCon.
Shelbee Eigenbrode on Amazon Web Servicesi (AWS) tehisintellekti ja masinõppe spetsialisti lahenduste arhitekt. Ta on olnud tehnoloogia alal 24 aastat, hõlmates mitmeid tööstusharusid, tehnoloogiaid ja rolle. Praegu keskendub ta oma DevOpsi ja ML-tausta ühendamisele MLOps-i domeeniga, et aidata klientidel ML-i töökoormust ulatuslikult toimetada ja hallata. Kuna ta on erinevates tehnoloogiavaldkondades välja antud üle 35 patendi, tunneb ta kirge pideva innovatsiooni ja andmete kasutamise vastu äritulemuste edendamiseks. Shelbee on Coursera praktilise andmeteaduse eriala kaaslooja ja juhendaja. Ta on ka Denveri peatüki naiste suurandmete (WiBD) kaasdirektor. Vabal ajal meeldib talle veeta aega oma pere, sõprade ja üliaktiivsete koertega.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/monitor-embedding-drift-for-llms-deployed-from-amazon-sagemaker-jumpstart/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 2013
- 24
- 35%
- 39
- 7
- 9
- 95%
- a
- Võimalik
- MEIST
- absoluutne
- juurdepääs
- konto
- ACM
- üle
- aktiivselt
- lisatud
- lisamine
- Täiendavad lisad
- Tooteinfo
- Lisaks
- jälle
- vastu
- agregaat
- AI
- Joondab
- Materjal: BPA ja flataatide vaba plastik
- Lubades
- võimaldab
- Ka
- Kuigi
- Amazon
- Amazon Cognito
- Amazon EC2
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- analüüs
- analüüsima
- analüüsides
- ja
- vastus
- vastamine
- midagi
- kohaldatav
- taotlus
- lähenemine
- asjakohane
- arhitektuur
- Arhiiv
- OLEME
- PIIRKOND
- valdkondades
- Kunst
- kaubad
- AS
- küsima
- küsib
- abistamine
- eeldab
- At
- suurendama
- suurendatud
- Autentimine
- autor
- automaatselt
- autonoomne
- autonoomsed sõidukid
- saadaval
- keskmine
- vältima
- ära
- AWS
- AWS liim
- Taustaprogramm
- tagapõhi
- stabilisaator
- põhineb
- Baseline
- BE
- sest
- olnud
- enne
- on
- kuulub
- Parem
- vahel
- Peale
- Suur
- Big andmed
- asutused
- mõlemad
- üldjoontes
- ehitama
- ehitatud
- äri
- by
- arvutama
- arvutab
- helistama
- kutsutud
- CAN
- võime
- lüüa
- pildistatud
- lööb
- Püüdmine
- juhul
- CD
- keskus
- Centers
- sertifikaat
- muutma
- muutunud
- Vaidluste lahendamine
- muutuv
- Peatükk
- koormuste
- kiip
- Chocolate
- Vali
- puhastama
- lähedal
- lähemale
- Cloud
- Cluster
- Klastrite loomine
- kood
- Colorado
- kombinatsioon
- kombineeritud
- kombineerimine
- tulevad
- kompaktne
- võrdlema
- võrreldes
- võrdlus
- täitma
- komponent
- komponendid
- Arvutama
- arvuti
- Arvuti visioon
- mõisted
- konverentsid
- konfigureeritud
- seadistamine
- Võta meiega ühendust
- kaalutlused
- konsool
- Konteiner
- sisu
- kontekst
- pidev
- pidev
- ümber
- küpsised
- tuum
- Vastav
- katmine
- kaetud
- kattes
- KATTED
- looma
- loodud
- loob
- loomine
- Praegune
- Praegu
- tava
- Kliendid
- viimase peal
- armatuurlaud
- andmed
- andmekeskuste
- andmetöötlus
- andmeteadus
- andmebaas
- vaikimisi
- määratletud
- tarnima
- Denver
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- juurutab
- Tuletatud
- hävitama
- üksikasjalik
- avastama
- Detection
- Määrama
- & Tarkvaraarendus
- kõrvalekalle
- skeem
- erinev
- raske
- mõõde
- mõõdud
- arutatud
- laiali
- kaugus
- kauge
- jaotus
- DNS
- do
- laevalaadija
- dokument
- dokumendid
- domeen
- Domeeninimi
- DOMEEENI NIMED
- Domeenid
- Ära
- alla
- ajam
- iga
- Embed
- varjatud
- kinnistamine
- lõpp
- Lõpuks-lõpuni
- Lõpp-punkt
- Inseneriteadus
- sisene
- sisenes
- ettevõtete
- keskkond
- hindama
- hindamine
- Iga
- näide
- näited
- erand
- olemasolevate
- eksperimentaalne
- Selgitama
- uurimine
- uurima
- Avastades
- väline
- väljavõte
- Väljavõtted
- pere
- kaugele
- Joonis
- fail
- Faile
- lõplik
- Lõpuks
- leidma
- leiab
- esimene
- ujuv
- voog
- keskendunud
- keskendumine
- Järel
- järgneb
- eest
- vorm
- avastatud
- Sihtasutus
- sõbrad
- Alates
- Frontend
- täis
- tulevik
- koguma
- Üldine
- teeniva
- põlvkond
- generatiivne
- Generatiivne AI
- saama
- saamine
- Andma
- Go
- läinud
- antud
- Grupp
- juhised
- käepide
- Olema
- he
- Held
- aitama
- siin
- rohkem
- tema
- omab
- võõrustaja
- võõrustas
- tund
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- Keskus
- ID
- identifitseerima
- if
- illustreerib
- kohe
- täitmine
- tööriistad
- oluline
- in
- sisaldama
- hõlmab
- Kaasa arvatud
- Sissetulev
- näitama
- tööstusharudes
- inerts
- info
- Infrastruktuur
- esialgne
- Innovatsioon
- sisend
- sisendite
- ülevaade
- paigaldamine
- paigaldatud
- Näiteks
- juhised
- suhelda
- suhtlevad
- interaktiivne
- huvitatud
- Interface
- sisse
- IT
- ITS
- töö
- Tööturg
- rõõm
- jpg
- lihtsalt
- Võti
- Kinesis Data Firehose
- teadmised
- keel
- suur
- pärast
- hiljemalt
- kiht
- Õppida
- õppimine
- Lets
- Raamatukogu
- meeldib
- joon
- Linux
- LLM
- koormus
- liising
- loginud
- Vaata
- välimus
- vähendada
- masin
- masinõpe
- tegema
- juhtima
- juhtimine
- juht
- käsitsi
- mai..
- keskmine
- vahendid
- mõõtma
- meetmed
- Meetrika
- Michigan
- võib
- ML
- MLOps
- mudel
- mudelid
- Jälgida
- rohkem
- kõige
- liikuv
- mitmekordne
- peab
- nimi
- nimed
- Natural
- Natural Language Processing
- Vajadus
- vaja
- vajav
- võrgustike loomine
- Uus
- uuem
- järgmine
- nlp
- märkmik
- märkida
- number
- numbrid
- arvukad
- of
- sageli
- on
- ainult
- avatud
- optimeeritud
- valik
- or
- Korraldus
- et
- päritolu
- Muu
- meie
- välja
- tulemusi
- välja toodud
- väljund
- väljundid
- üle
- üldine
- kattuvad
- enda
- parameeter
- parameetrid
- eriline
- kirg
- Patendi
- tee
- Muster
- mustrid
- täitma
- esitades
- tükki
- torujuhe
- Kohad
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängib
- Punkt
- võrra
- ujula
- positsioone
- võimalik
- post
- potentsiaal
- sisse
- Praktiline
- eelnev
- eeldused
- esitatud
- säilitamine
- eelmine
- varem
- Peamine
- trükk
- Proaktiivne
- protsess
- töötlemine
- Toode
- tootehaldus
- projektid
- küsib
- osa
- anda
- tingimusel
- annab
- säte
- avalik
- avaldatud
- Tõmbab
- küsimus
- Küsimused
- rag
- vahemikud
- alates
- valmis
- reaalajas
- realm
- retsept
- rekord
- vähendama
- vähendamine
- viitama
- viide
- piirkond
- seotud
- suhteliselt
- asjakohane
- esindama
- esindamine
- esindab
- nõutav
- Vajab
- Vahendid
- vastus
- Tulemused
- otsing
- Roll
- rollid
- Marsruut
- jooks
- jooksmine
- jookseb
- salveitegija
- sama
- Säästa
- Skaala
- ajakava
- teadus
- skoor
- Otsing
- otsingud
- Teine
- Osa
- lõigud
- vaata
- nähtud
- valima
- semantiline
- vanem
- tunne
- Saadetud
- eri
- teenus
- Teenused
- istung
- komplekt
- kehtestamine
- mitu
- ta
- peaks
- näitama
- näitas
- näidatud
- Näitused
- Signaali
- signaale
- sarnane
- lihtne
- lihtsustama
- SUURUS
- Snapshot
- So
- tarkvara
- tarkvaraarendus
- lahendus
- Lahendused
- mõned
- allikas
- Allikad
- Ruum
- Pinge
- spetsialist
- määratletud
- kulutama
- ruuduline
- Kestab
- Hoidla
- standard
- algus
- alustatud
- Käivitus
- riik
- statistika
- Sammud
- ladustamine
- salvestada
- ladustatud
- edukas
- selline
- kindel
- süsteem
- süsteemid
- tabel
- Võtma
- Ülesanne
- tehnika
- Tehnoloogiad
- Tehnoloogia
- tekst
- et
- .
- teave
- Allikas
- oma
- Neile
- SIIS
- Seal.
- Need
- see
- need
- kolm
- Läbi
- aeg
- et
- kokku
- Teemasid
- Summa
- Muutma
- Reisimine
- Trend
- Trends
- püüdma
- kaks
- liigid
- all
- Ülikool
- URL
- us
- kasutama
- Kasutatud
- kasulik
- Kasutaja
- Kasutajaliides
- Kasutajad
- kasutamine
- kinnitamine
- väärtus
- Väärtused
- muutuja
- sort
- eri
- Sõidukid
- kaudu
- nägemus
- visuaalne
- läbikäiguks
- tahan
- oli
- Tee..
- we
- web
- veebiteenused
- Hästi
- millal
- kas
- mis
- kuigi
- will
- koos
- jooksul
- ilma
- Naised
- Töö
- töötas
- töö
- töökoht
- halvem
- oleks
- aastat
- veel
- sa
- Sinu
- sephyrnet
- tsoon