Inteligența artificială generativă (AI generativă) modelele au demonstrat capacități impresionante în generarea de text, imagini și alt conținut de înaltă calitate. Cu toate acestea, aceste modele necesită cantități masive de date de antrenament curate și structurate pentru a-și atinge potențialul maxim. Majoritatea datelor din lumea reală există în formate nestructurate, cum ar fi PDF-urile, care necesită preprocesare înainte de a putea fi utilizate eficient.
În conformitate cu IDC, datele nestructurate reprezintă peste 80% din toate datele de afaceri în prezent. Acestea includ formate precum e-mailuri, PDF-uri, documente scanate, imagini, audio, video și multe altele. În timp ce aceste date dețin informații valoroase, natura lor nestructurată face dificilă interpretarea și învățarea lor pentru algoritmii AI. Potrivit unui Sondaj 2019 realizat de Deloitte, doar 18% dintre companii au raportat că pot profita de datele nestructurate.
Pe măsură ce adoptarea AI continuă să se accelereze, dezvoltarea mecanismelor eficiente de digerare și de învățare din datele nestructurate devine și mai critică în viitor. Acest lucru ar putea implica instrumente mai bune de preprocesare, tehnici de învățare semi-supravegheată și progrese în procesarea limbajului natural. Companiile care își folosesc datele nestructurate cel mai eficient vor câștiga avantaje competitive semnificative din AI. Datele curate sunt importante pentru o performanță bună a modelului. Textele extrase încă mai au cantități mari de farfurie și text de tip boilerplate (de exemplu, citiți HTML). Datele răzuite de pe internet conțin adesea o mulțime de dublări. Datele din rețelele sociale, recenzii sau orice conținut generat de utilizatori pot conține, de asemenea, conținut toxic și părtinitor și poate fi necesar să le filtrați folosind câțiva pași de preprocesare. Ar putea exista, de asemenea, o mulțime de conținut de calitate scăzută sau texte generate de bot, care pot fi filtrate folosind metadatele însoțitoare (de exemplu, filtrați răspunsurile serviciului clienți care au primit evaluări scăzute ale clienților).
Pregătirea datelor este importantă în mai multe etape în Retrieval Augmented Generation (CÂRPĂ) modele. Documentele sursă de cunoștințe necesită preprocesare, cum ar fi curățarea textului și generarea de înglobări semantice, astfel încât să poată fi indexate și recuperate eficient. Interogarea în limbaj natural a utilizatorului necesită, de asemenea, preprocesare, astfel încât poate fi codificată într-un vector și comparată cu încorporarea documentelor. După preluarea contextelor relevante, acestea pot avea nevoie de preprocesare suplimentară, cum ar fi trunchierea, înainte de a fi concatenate la interogarea utilizatorului pentru a crea promptul final pentru modelul de bază. Amazon SageMaker Canvas acum acceptă capabilități complete de pregătire a datelor, alimentate de Amazon SageMaker Data Wrangler. Cu această integrare, SageMaker Canvas oferă clienților un spațiu de lucru fără cod de la capăt la capăt pentru a pregăti datele, a construi și a utiliza modele ML și fundamente pentru a accelera timpul de la date la informații despre afaceri. Acum puteți descoperi și agrega cu ușurință date din peste 50 de surse de date și puteți explora și pregăti date folosind peste 300 de analize și transformări încorporate în interfața vizuală a SageMaker Canvas.
Prezentare generală a soluțiilor
În această postare, lucrăm cu un set de date de documentație PDF—Amazon Bedrock manualul utilizatorului. În plus, arătăm cum să preprocesăm un set de date pentru RAG. Mai exact, curățăm datele și creăm artefacte RAG pentru a răspunde la întrebările despre conținutul setului de date. Luați în considerare următoarea problemă de învățare automată (ML): utilizatorul pune o întrebare privind modelul de limbaj mare (LLM): „Cum se filtrează și se caută modele în Amazon Bedrock?”. LLM nu a văzut documentația în timpul etapei de pregătire sau de reglare fină, astfel că nu ar putea răspunde la întrebare și cel mai probabil va halucina. Scopul nostru cu această postare este să găsim o bucată de text relevantă din PDF (adică, RAG) și să o atașăm la prompt, permițând astfel LLM să răspundă la întrebări specifice acestui document.
Mai jos, arătăm cum puteți face toți acești pași principali de preprocesare Amazon SageMaker Canvas (cu sprijinul Amazon SageMaker Data Wrangler):
- Extragerea textului dintr-un document PDF (alimentat de Texttract)
- Eliminați informațiile sensibile (produs de Comprehend)
- Tăiați textul în bucăți.
- Creați înglobări pentru fiecare piesă (alimentat de Bedrock).
- Încărcați încorporarea într-o bază de date vectorială (produsă de OpenSearch)
Cerințe preliminare
Pentru această soluție, ar trebui să aveți următoarele:
notițe: Creați domenii OpenSearch Service urmând instrucțiunile aici. Pentru simplitate, haideți să alegem opțiunea cu un nume de utilizator principal și o parolă pentru un control precis al accesului. Odată ce domeniul este creat, creați un index vectorial cu următoarele mapări, iar dimensiunea vectorială 1536 se aliniază cu înglobările Amazon Titan:
walkthrough
Construiți un flux de date
În această secțiune, vom acoperi modul în care putem construi un flux de date pentru a extrage text și metadate din PDF-uri, pentru a curăța și a procesa datele, a genera încorporare folosind Amazon Bedrock și a indexa datele în Amazon OpenSearch.
Lansați SageMaker Canvas
Pentru a lansa SageMaker Canvas, parcurgeți următorii pași:
- Pe Amazon Consola SageMaker, alege domenii în panoul de navigare.
- Alegeți domeniul dvs.
- În meniul de lansare, alegeți Planșă.
Creați un flux de date
Parcurgeți următorii pași pentru a crea un flux de date în SageMaker Canvas:
- Pe pagina de pornire SageMaker Canvas, alegeți Data Wrangler.
- Alege Crea în partea dreaptă a paginii, apoi dați un nume de flux de date și selectați Crea.
- Aceasta va ajunge pe o pagină de flux de date.
- Alege Date de import, selectați datele tabelare.
Acum să importăm datele din bucket Amazon S3:
- Alege Date de import și selectați tabular din lista drop-down.
- Sursă de date și selectați Amazon S3 din lista drop-down.
- Navigați la fișierul metadate cu locațiile fișierelor PDF și alegeți fișierul.
- Acum, fișierul de metadate este încărcat în fluxul de date de pregătire a datelor și putem trece la adăugarea pașilor următori pentru a transforma datele și indexul în Amazon OpenSearch. În acest caz, fișierul are următoarele metadate, cu locația fiecărui fișier în directorul Amazon S3.
Pentru a adăuga o nouă transformare, parcurgeți următorii pași:
- Alegeți semnul plus și alegeți Adăugați Transform.
- Alege Adăugați Pasul Și alegeți Transformare personalizată.
- Puteți crea o transformare personalizată folosind Pandas, PySpark, funcții Python definite de utilizator și SQL PySpark. Alege Python (PySpark) pentru acest caz de utilizare.
- Introduceți un nume pentru pas. Din exemplele de fragmente de cod, răsfoiți și selectați extrage text din pdf. Faceți modificările necesare la fragmentul de cod și selectați Adăuga.
- Să adăugăm un pas pentru a redacta datele informațiilor personale de identificare (PII) din datele extrase prin valorificare Amazon Comprehend. Alege Adăugați Pasul Și alegeți Transformare personalizată. Și selectați Python (PySpark).
Din exemplele de fragmente de cod, răsfoiți și selectați masca PII. Faceți modificările necesare la fragmentul de cod și selectați Adăugaţi.
- Următorul pas este să fragmentați conținutul textului. Alege Adăugați Pasul Și alegeți Transformare personalizată. Și selectați Python (PySpark).
Din exemplele de fragmente de cod, răsfoiți și selectați Text în bucăți. Faceți modificările necesare la fragmentul de cod și selectați Adăugaţi.
- Să convertim conținutul textului în înglobări vectoriale folosind Amazon Bedrock Modelul Titan Embeddings. Alege Adăugați Pasul Și alegeți Transformare personalizată. Și selectați Python (PySpark).
Din exemplele de fragmente de cod, răsfoiți și selectați Generați încorporarea textului cu Bedrock. Faceți modificările necesare la fragmentul de cod și selectați Adăugaţi.
- Acum avem disponibile înglobări vectoriale pentru conținutul fișierului PDF. Să mergem mai departe și să indexăm datele în Amazon OpenSearch. Alege Adăugați Pasul Și alegeți Transformare personalizată. Și selectați Python (PySpark). Sunteți liber să rescrieți următorul cod pentru a utiliza baza de date vectorială preferată. Pentru simplitate, folosim numele de utilizator principal și parola pentru a accesa API-urile OpenSearch, pentru sarcinile de lucru de producție selectați opțiunea în funcție de politicile organizației dvs.
În cele din urmă, fluxul de date creat ar fi după cum urmează:
Cu acest flux de date, datele din fișierul PDF au fost citite și indexate cu înglobare vectorială în Amazon OpenSearch. Acum este timpul să creăm un fișier cu interogări pentru a interoga datele indexate și a le salva în locația Amazon S3. Vom îndrepta fluxul de date de căutare către fișier și vom scoate un fișier cu rezultatele corespunzătoare într-un fișier nou într-o locație Amazon S3.
Pregătirea unui prompt
După ce creăm o bază de cunoștințe din PDF-ul nostru, o putem testa căutând în baza de cunoștințe câteva exemple de interogări. Vom procesa fiecare interogare după cum urmează:
- Generați încorporare pentru interogare (produs de Amazon Bedrock)
- Interogați baza de date vectorială pentru contextul celui mai apropiat vecin (produs de Amazon OpenSearch)
- Combinați interogarea și contextul în prompt.
- Interogați LLM cu un prompt (produs de Amazon Bedrock)
- Pe pagina de pornire SageMaker Canvas, alegeți Pregătirea datelor.
- Alege Crea în partea dreaptă a paginii, apoi dați un nume de flux de date și selectați Crea.
Acum să încărcăm întrebările utilizatorului și apoi să creăm un prompt combinând întrebarea și documentele similare. Acest prompt este furnizat LLM pentru a genera un răspuns la întrebarea utilizatorului.
- Să încărcăm un fișier csv cu întrebări ale utilizatorului. Alege Import Data și selectați tabular din lista drop-down.
- Sursă de date, și selectați Amazon S3 din lista derulantă. Alternativ, puteți alege să încărcați un fișier cu interogări ale utilizatorilor.
- Să adăugăm o transformare personalizată pentru a converti datele în înglobări vectoriale, urmată de căutarea înglobărilor asociate din Amazon OpenSearch, înainte de a trimite o solicitare către Amazon Bedrock cu interogarea și contextul din baza de cunoștințe. Pentru a genera înglobări pentru interogare, puteți utiliza același exemplu de fragment de cod Generați încorporarea textului cu Bedrock menționat la Pasul #7 de mai sus.
Să invocăm API-ul Amazon OpenSearch pentru a căuta documente relevante pentru înglobările de vectori generate. Adăugați o transformare personalizată cu Python (PySpark).
Să adăugăm o transformare personalizată pentru a apela API-ul Amazon Bedrock pentru răspuns la interogare, transmițând documentele din baza de cunoștințe Amazon OpenSearch. Din exemplele de fragmente de cod, răsfoiți și selectați Interogați Bedrock cu context. Faceți modificările necesare la fragmentul de cod și selectați Adăugaţi.
În rezumat, fluxul de date de răspuns la întrebări bazat pe RAG este următorul:
Practicanții ML petrec mult timp creând codul de inginerie a caracteristicilor, aplicându-l la seturile lor de date inițiale, antrenând modele pe seturile de date proiectate și evaluând acuratețea modelului. Având în vedere natura experimentală a acestei lucrări, chiar și cel mai mic proiect duce la mai multe iterații. Același cod de inginerie a caracteristicilor este adesea rulat din nou și din nou, pierzând timp și resurse de calcul repetarea acelorași operațiuni. În organizațiile mari, acest lucru poate provoca o pierdere și mai mare a productivității, deoarece echipele diferite execută adesea lucrări identice sau chiar scriu coduri de inginerie a caracteristicilor duplicat, deoarece nu au cunoștințe despre munca anterioară. Pentru a evita reprocesarea caracteristicilor, ne vom exporta fluxul de date către un Amazon Conducta SageMaker. Să selectăm butonul + din dreapta interogării. Selectați fluxul de date de export și alegeți Rulați SageMaker Pipeline (prin caietul Jupyter).
A curăța
Pentru a evita costurile viitoare, ștergeți sau închideți resursele pe care le-ați creat în timp ce urmăriți această postare. A se referi la Deconectarea de la Amazon SageMaker Canvas pentru mai multe detalii.
Concluzie
În această postare, v-am arătat cum sunt capabilitățile end-to-end ale Amazon SageMaker Canvas, asumându-și rolul unui profesionist de date care pregătește date pentru un LLM. Pregătirea interactivă a datelor a permis curățarea, transformarea și analizarea rapidă a datelor pentru a crea funcții informative. Prin eliminarea complexităților de codare, SageMaker Canvas a permis o iterație rapidă pentru a crea un set de date de antrenament de înaltă calitate. Acest flux de lucru accelerat a condus direct la construirea, instruirea și implementarea unui model performant de învățare automată pentru impactul asupra afacerii. Cu pregătirea sa cuprinzătoare a datelor și experiența unificată de la date la informații, SageMaker Canvas dă putere utilizatorilor să-și îmbunătățească rezultatele ML.
Vă încurajăm să aflați mai multe explorând Amazon SageMaker Data Wrangler, Amazon SageMaker Canvas, Amazon Titan modele, Amazon Bedrockși Amazon Serviciul OpenSearch pentru a construi o soluție folosind exemplul de implementare furnizat în această postare și un set de date relevant pentru afacerea dvs. Dacă aveți întrebări sau sugestii, vă rugăm să lăsați un comentariu.
Despre Autori
Ajjay Govindaram este arhitect senior de soluții la AWS. Lucrează cu clienți strategici care folosesc AI/ML pentru a rezolva probleme complexe de afaceri. Experiența sa constă în furnizarea de direcție tehnică, precum și asistență de proiectare pentru implementări de aplicații AI/ML la scară mică sau mare. Cunoștințele sale variază de la arhitectura aplicațiilor la big data, analiză și învățarea automată. Îi place să asculte muzică în timp ce se odihnește, să experimenteze în aer liber și să petreacă timpul cu cei dragi.
Nikita Ivkin este cercetător senior aplicat la Amazon SageMaker Data Wrangler cu interese în învățarea automată și algoritmii de curățare a datelor.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/simplify-data-prep-for-gen-ai-with-amazon-sagemaker-data-wrangler/
- :are
- :este
- :nu
- 100
- 14
- 20
- 25
- 28
- 50
- 7
- 8
- 804
- a
- Capabil
- Despre Noi
- mai sus
- accelera
- accelerat
- acces
- Conform
- Conturi
- precizie
- adăuga
- Suplimentar
- Adoptare
- avans
- Avantaj
- Avantajele
- După
- din nou
- agregat
- înainte
- AI
- AI / ML
- algoritmi
- Se aliniază
- TOATE
- permis
- de asemenea
- Amazon
- Amazon SageMaker
- Amazon SageMaker Data Wrangler
- Amazon Web Services
- Sume
- an
- analize
- Google Analytics
- analiza
- și
- răspunde
- Orice
- api
- aplicație
- aplicat
- Aplicarea
- arhitectură
- SUNT
- artificial
- inteligență artificială
- AS
- Asistență
- At
- atașa
- audio
- augmented
- disponibil
- evita
- AWS
- de bază
- bazat
- BE
- deoarece
- devine
- fost
- înainte
- fiind
- Mai bine
- părtinitor
- Mare
- Datele mari
- construi
- Clădire
- construit-in
- afaceri
- întreprinderi
- buton
- by
- apel
- CAN
- pânză
- capacități
- caz
- Provoca
- Modificări
- taxe
- Alege
- curat
- Curățenie
- cod
- Codificare
- combinând
- comentariu
- Companii
- comparație
- competitiv
- Completă
- complex
- complexități
- înţelege
- cuprinzător
- Calcula
- Lua în considerare
- Consoleze
- conţine
- conține
- conţinut
- conținut
- context
- contexte
- continuă
- Control
- converti
- Corespunzător
- ar putea
- acoperi
- crea
- a creat
- critic
- personalizat
- client
- Serviciu clienți
- clienţii care
- de date
- Pregătirea datelor
- Baza de date
- seturi de date
- Deloitte
- demonstrat
- Implementarea
- implementări
- Amenajări
- detalii
- în curs de dezvoltare
- diferit
- dificil
- Dimensiune
- direcţie
- direct
- descoperi
- do
- document
- documentaţie
- documente
- domeniu
- domenii
- jos
- în timpul
- e
- fiecare
- cu ușurință
- în mod eficient
- eficient
- eficient
- e-mailuri
- Încorporarea
- imputerniceste
- activat
- permițând
- încuraja
- un capăt la altul
- inginer
- inginerie
- Inginerie
- evaluarea
- Chiar
- exemplu
- există
- experienţă
- confruntă
- experimental
- explora
- Explorarea
- exporturile
- extrage
- Caracteristică
- DESCRIERE
- puțini
- Domenii
- Fișier
- filtru
- final
- Găsi
- debit
- a urmat
- următor
- urmează
- Pentru
- Forbes
- Fundație
- Fundații
- Gratuit
- din
- Complet
- funcții
- mai mult
- viitor
- Câştig
- genera
- generată
- generator
- generaţie
- generativ
- AI generativă
- obține
- Da
- dat
- Caritate
- Go
- scop
- bine
- mai mare
- Avea
- he
- anteturile
- de înaltă calitate
- lui
- deține
- Acasă
- Cum
- Cum Pentru a
- Totuși
- HTML
- HTTPS
- i
- identic
- if
- imagini
- Impactul
- implementarea
- import
- important
- impresionant
- îmbunătăţi
- in
- include
- index
- indexate
- informații
- informativ
- inițială
- perspective
- instrucțiuni
- integrare
- Inteligență
- interactiv
- interese
- interfaţă
- Internet
- în
- implica
- IT
- repetare
- iterații
- ESTE
- Locuri de munca
- jpg
- JSON
- cunoştinţe
- Țară
- limbă
- mare
- pe scară largă
- lansa
- Conduce
- AFLAȚI
- învăţare
- Părăsi
- Led
- efectului de pârghie
- se află
- ca
- Listă
- Ascultare
- LLM
- încărca
- locaţie
- Locații
- de pe
- Lot
- iubit
- Jos
- maşină
- masina de învățare
- Principal
- face
- FACE
- masca
- masiv
- maestru
- Mai..
- mecanisme
- Mass-media
- Meniu
- meta
- Metadata
- ML
- model
- Modele
- modest
- mai mult
- cele mai multe
- multiplu
- Muzică
- nume
- Natural
- Procesarea limbajului natural
- Natură
- Navigare
- necesar
- Nevoie
- Nou
- următor
- Nu.
- caiet
- acum
- of
- de multe ori
- on
- dată
- cele
- afară
- Operațiuni
- Opțiune
- or
- organizație
- organizații
- Altele
- al nostru
- afară
- rezultate
- în aer liber
- producție
- peste
- pagină
- panda
- pâine
- Care trece
- Parolă
- performanță
- personal
- alege
- bucată
- piese
- conducte
- Plato
- Informații despre date Platon
- PlatoData
- "vă rog"
- la care se adauga
- Punct
- Politicile
- Post
- potenţial
- alimentat
- preferat
- pregătire
- Pregăti
- pregătirea
- anterior
- probabil
- Problemă
- probleme
- continua
- proces
- prelucrare
- producere
- productivitate
- profesional
- proiect
- proprietăţi
- prevăzut
- furnizează
- furnizarea
- Piton
- interogări
- întrebare
- Întrebări
- repede
- game
- rapid
- evaluări
- ajunge
- Citeste
- lumea reală
- primit
- trimite
- legate de
- eliminarea
- Raportat
- cereri de
- necesita
- Necesită
- Resurse
- răspuns
- răspunsuri
- odihnă
- REZULTATE
- reveni
- Recenzii
- dreapta
- Rol
- Alerga
- sagemaker
- acelaşi
- Economisiți
- Om de stiinta
- Caută
- căutare
- Secțiune
- văzut
- selecta
- trimitere
- senior
- sensibil
- serviciu
- Servicii
- setări
- să
- Arăta
- a arătat
- închide
- Închide
- parte
- semna
- semnificativ
- asemănător
- simplitate
- simplifica
- Mărimea
- fragment
- So
- Social
- social media
- soluţie
- soluţii
- REZOLVAREA
- unele
- Sursă
- Surse
- specific
- specific
- petrece
- Cheltuire
- Etapă
- Stadiile
- Pas
- paşi
- Încă
- Strategic
- structurat
- REZUMAT
- Sprijină
- Sondaj de opinie
- Lua
- echipe
- Tehnic
- tehnici de
- test
- a) Sport and Nutrition Awareness Day in Manasia Around XNUMX people from the rural commune Manasia have participated in a sports and healthy nutrition oriented activity in one of the community’s sports ready yards. This activity was meant to gather, mainly, middle-aged people from a Romanian rural community and teach them about the benefits that sports have on both their mental and physical health and on how sporting activities can be used to bring people from a community closer together. Three trainers were made available for this event, so that the participants would get the best possible experience physically and so that they could have the best access possible to correct information and good sports/nutrition practices. b) Sports Awareness Day in Poiana Țapului A group of young participants have taken part in sporting activities meant to teach them about sporting conduct, fairplay, and safe physical activities. The day culminated with a football match.
- acea
- Viitorul
- lor
- Lor
- apoi
- Acolo.
- Acestea
- ei
- acest
- Prin urmare
- timp
- gigant
- la
- astăzi
- Unelte
- Pregătire
- Transforma
- Transformare
- transformări
- transformare
- adevărat
- trunchiere
- tip
- Tipuri
- unificat
- us
- utilizare
- utilizat
- Utilizator
- utilizatorii
- folosind
- Valoros
- de
- Video
- vizual
- walkthrough
- we
- web
- servicii web
- BINE
- care
- în timp ce
- OMS
- voi
- cu
- Apartamente
- flux de lucru
- fabrică
- ar
- scrie
- Tu
- Ta
- zephyrnet