Bazele de cunoștințe din Amazon Bedrock simplifică acum adresarea întrebărilor pe un singur document | Amazon Web Services

At AWS re: Inventează 2023, am anunțat disponibilitatea generală a Baze de cunoștințe pentru Amazon Bedrock. Cu bazele de cunoștințe pentru Amazon Bedrock, puteți conecta în siguranță modele de fundație (FM) în Amazon Bedrock la datele companiei dvs. pentru a gestiona complet Retrieval Augmented Generation (RAG).

În postările anterioare, am acoperit noi capabilități precum suport pentru căutare hibridă, filtrarea metadatelor pentru a îmbunătăți acuratețea regăsirii, si cum Bazele de cunoștințe pentru Amazon Bedrock gestionează fluxul de lucru RAG de la capăt la capăt.

Astăzi, vă prezentăm noua capacitate de a conversa prin chat cu documentul dvs. fără configurare în bazele de cunoștințe pentru Amazon Bedrock. Cu această nouă capacitate, puteți pune întrebări în siguranță pe documente unice, fără cheltuielile generale legate de configurarea unei baze de date vectoriale sau de ingerare de date, ceea ce face ca întreprinderile să își folosească datele întreprinderii fără efort. Trebuie doar să furnizați un fișier de date relevant ca intrare și să alegeți FM pentru a începe.

Dar înainte de a intra în detaliile acestei funcții, să începem cu elementele de bază și să înțelegem ce este RAG, beneficiile sale și modul în care această nouă capacitate permite regăsirea și generarea de conținut pentru nevoi temporale.

Ce este Retrieval Augmented Generation?

Asistenții de inteligență artificială (AI) alimentați de FM au limitări, cum ar fi furnizarea de informații învechite sau se confruntă cu contextul din afara datelor lor de antrenament. RAG abordează aceste probleme permițând FM să facă referințe încrucișate la surse de cunoștințe autorizate înainte de a genera răspunsuri.

Cu RAG, atunci când un utilizator pune o întrebare, sistemul preia contextul relevant dintr-o bază de cunoștințe organizată, cum ar fi documentația companiei. Acesta oferă acest context FM, care îl folosește pentru a genera un răspuns mai informat și mai precis. RAG ajută la depășirea limitărilor FM prin creșterea capacităților sale cu cunoștințele proprietare ale unei organizații, permițând chatboților și asistenților AI să ofere informații actualizate, specifice contextului, adaptate nevoilor afacerii, fără a recalifica întregul FM. La AWS, recunoaștem potențialul RAG și am lucrat pentru a simplifica adoptarea acestuia prin intermediul bazelor de cunoștințe pentru Amazon Bedrock, oferind o experiență RAG complet gestionată.

Nevoi de informare pe termen scurt și instantanee

Deși o bază de cunoștințe face toate sarcinile grele și servește ca un depozit mare persistent de cunoștințe ale întreprinderii, este posibil să aveți nevoie de acces temporar la date pentru anumite sarcini sau analize în cadrul sesiunilor izolate de utilizator. Abordările tradiționale RAG nu sunt optimizate pentru aceste scenarii de acces la date pe termen scurt, bazate pe sesiune.

Companiile suportă taxe pentru stocarea și gestionarea datelor. Acest lucru poate face ca RAG să fie mai puțin rentabil pentru organizațiile cu cerințe de informații extrem de dinamice sau efemere, mai ales atunci când datele sunt necesare doar pentru sarcini sau analize specifice, izolate.

Puneți întrebări pe un singur document, fără configurare

Această nouă capacitate de a discuta cu documentul dvs. în bazele de cunoștințe pentru Amazon Bedrock abordează provocările menționate mai sus. Oferă o metodă de configurare zero pentru a utiliza un singur document pentru regăsirea conținutului și sarcinile legate de generare, împreună cu FM-urile furnizate de Amazon Bedrock. Cu această nouă capacitate, puteți pune întrebări cu privire la datele dvs. fără cheltuielile generale legate de configurarea unei baze de date vectoriale sau de ingerare de date, făcând utilizarea fără efort a datelor dvs. de companie.

Acum puteți interacționa cu documentele dvs. în timp real, fără introducerea prealabilă a datelor sau configurarea bazei de date. Nu trebuie să faceți pași suplimentari de pregătire a datelor înainte de a interoga datele.

Această abordare zero-setup simplifică utilizarea activelor de informații ale companiei cu IA generativă folosind Amazon Bedrock.

Cazuri de utilizare și beneficii

Luați în considerare o firmă de recrutare care trebuie să analizeze CV-urile și să potrivească candidații cu oportunități de angajare adecvate, în funcție de experiența și abilitățile lor. Anterior, trebuia să configurați o bază de cunoștințe, invocând un flux de lucru de asimilare a datelor pentru a vă asigura că numai recrutorii autorizați pot accesa datele. În plus, ar trebui să gestionați curățarea atunci când datele nu mai sunt necesare pentru o sesiune sau candidat. În cele din urmă, ați plăti mai mult pentru stocarea și gestionarea bazei de date vectoriale decât pentru utilizarea reală a FM. Această nouă funcție din bazele de cunoștințe pentru Amazon Bedrock le permite recrutorilor să analizeze rapid și efemer CV-urile și să potrivească candidații cu oportunități de angajare adecvate, pe baza experienței și a competențelor candidatului.

Pentru un alt exemplu, luați în considerare un manager de produs la o companie de tehnologie care trebuie să analizeze rapid feedback-ul clienților și biletele de asistență pentru a identifica problemele comune și zonele de îmbunătățire. Cu această nouă capacitate, puteți pur și simplu să încărcați un document pentru a extrage informații în cel mai scurt timp. De exemplu, puteți întreba „Care sunt cerințele pentru aplicația mobilă?” sau „Care sunt punctele dureroase comune menționate de clienți cu privire la procesul nostru de integrare?” Această caracteristică vă permite să sintetizați rapid aceste informații, fără bătaia de cap de pregătire a datelor sau orice cheltuieli de gestionare. De asemenea, puteți solicita rezumate sau concluzii cheie, cum ar fi „Care sunt punctele importante din acest document de cerințe?”

Beneficiile acestei caracteristici se extind dincolo de economiile de costuri și eficiența operațională. Prin eliminarea necesității bazelor de date vectoriale și a ingerării de date, această nouă capacitate din bazele de cunoștințe pentru Amazon Bedrock ajută la securizarea datelor dvs. de proprietate, făcându-le accesibile numai în contextul sesiunilor izolate ale utilizatorilor.

Acum că am acoperit beneficiile caracteristicilor și cazurile de utilizare pe care le permite, haideți să vedem cum puteți începe să utilizați această nouă funcție din bazele de cunoștințe pentru Amazon Bedrock.

Discutați cu documentul dvs. în bazele de cunoștințe pentru Amazon Bedrock

Aveți mai multe opțiuni pentru a începe să utilizați această funcție:

• Consola Amazon Bedrock
• Roca de bază a Amazonului RetrieveAndGenerate API (SDK)

Să vedem cum putem începe să folosim consola Amazon Bedrock:

1. Pe consola Amazon Bedrock, sub Orchestrarea în panoul de navigare, alegeți Baze de cunoștințe.
2. Alege Discutați cu documentul dvs.
   
3. În Model, alege Selectați modelul.
   
4. Alege-ți modelul. Pentru acest exemplu, folosim modelul Claude 3 Sonnet (suportăm Sonnet doar la momentul lansării).
5. Alege Aplică.
   
6. În Date, puteți încărca documentul cu care doriți să discutați sau să indicați Serviciul Amazon de stocare simplă (Amazon S3) locația compartimentului care conține fișierul dvs. Pentru această postare, încărcăm un document de pe computerul nostru.

Formatele de fișier acceptate sunt PDF, MD (Markdown), TXT, DOCX, HTML, CSV, XLS și XLSX. Asigurați-vă că dimensiunea fișierului nu depășește 10 MB și nu conține mai mult de 20,000 de jetoane. A semn este considerată o unitate de text, cum ar fi un cuvânt, un subcuvânt, un număr sau un simbol, care este procesată ca o singură entitate. Datorită limitei presetate de token de asimilare, se recomandă utilizarea unui fișier sub 10 MB. Cu toate acestea, un fișier cu text greoi, care este mult mai mic de 10 MB, poate încălca limita de token.

Acum sunteți gata să discutați prin chat cu documentul dvs.

După cum se arată în următoarea captură de ecran, puteți discuta cu documentul în timp real.

Pentru a personaliza solicitarea, introduceți solicitarea sub Sistem prompt.

În mod similar, puteți utiliza SDK-ul AWS prin intermediul retrieve_and_generate API în limbaje majore de codare. În exemplul următor, folosim SDK AWS pentru Python (Boto3):

import boto3

bedrock_client = boto3.client(service_name='bedrock-agent-runtime')
model_id = "your_model_id_here"    # Replace with your modelID
document_uri = "your_s3_uri_here"  # Replace with your S3 URI

def retrieveAndGenerate(input_text, sourceType, model_id, document_s3_uri=None, data=None):
    region = 'us-west-2'  
    model_arn = f'arn:aws:bedrock:{region}::foundation-model/{model_id}'

    if sourceType == "S3":
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "s3Location": {
                                "uri": document_s3_uri  
                            }
                        }
                    ]
                }
            }
        )
        
    else:
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "byteContent": {
                                "identifier": "testFile.txt",
                                "contentType": "text/plain",
                                "data": data  
                            }
                        }
                    ]
                }
            }
        )

response = retrieveAndGenerate(
                                input_text="What is the main topic of this document?",
                                sourceType="S3", 
                                model_id=model_id,
                                document_s3_uri=document_uri
                              )
                    
print(response['output']['text'])

Concluzie

În această postare, am descris modul în care bazele de cunoștințe pentru Amazon Bedrock simplifică acum adresarea întrebărilor pe un singur document. Am explorat conceptele de bază din spatele RAG, provocările pe care le abordează această nouă caracteristică și diferitele cazuri de utilizare pe care le permite în diferite roluri și industrii. De asemenea, am demonstrat cum să configurați și să utilizați această capacitate prin consola Amazon Bedrock și AWS SDK, arătând simplitatea și flexibilitatea acestei caracteristici, care oferă o soluție zero-setup pentru a colecta informații dintr-un singur document, fără a configura o bază de date vectorială. .

Pentru a explora în continuare capabilitățile bazelor de cunoștințe pentru Amazon Bedrock, consultați următoarele resurse:

Distribuiți și învățați cu comunitatea noastră generativă AI la comunitate.aws.

Despre autori

Suman Debnath este un avocat principal al dezvoltatorilor pentru învățarea automată la Amazon Web Services. Vorbește frecvent la conferințe, evenimente și întâlniri AI/ML din întreaga lume. Este pasionat de sistemele distribuite la scară largă și este un pasionat de Python.

Sebastian Munera este inginer software în echipa Amazon Bedrock Knowledge Bases de la AWS, unde se concentrează pe construirea de soluții pentru clienți care să folosească aplicațiile generative AI și RAG. El a lucrat anterior la construirea de soluții bazate pe IA generativă pentru clienți pentru a-și eficientiza procesele și aplicațiile Low code/Fără cod. În timpul liber, îi place să alerge, să ridice și să-și schimbe tehnologia.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-in-amazon-bedrock-now-simplifies-asking-questions-on-a-single-document/