Vidensbaser i Amazon Bedrock forenkler nu at stille spørgsmål til et enkelt dokument | Amazon Web Services

At AWS re: Invent 2023 annoncerede vi den generelle tilgængelighed af Vidensbaser for Amazon Bedrock. Med Knowledge Bases for Amazon Bedrock kan du sikkert forbinde fundamentmodeller (FM'er) ind Amazonas grundfjeld til din virksomheds data for fuldt administreret Retrieval Augmented Generation (RAG).

I tidligere indlæg dækkede vi nye funktioner som hybrid søgeunderstøttelse, metadatafiltrering for at forbedre genfindingsnøjagtigheden, og hvor Knowledge Bases for Amazon Bedrock styrer end-to-end RAG-arbejdsgangen.

I dag introducerer vi den nye mulighed for at chatte med dit dokument uden opsætning i Knowledge Bases for Amazon Bedrock. Med denne nye funktion kan du sikkert stille spørgsmål til enkelte dokumenter, uden at det skal betale sig at oprette en vektordatabase eller indlæse data, hvilket gør det nemt for virksomheder at bruge deres virksomhedsdata. Du behøver kun at angive en relevant datafil som input og vælge din FM for at komme i gang.

Men før vi hopper ind i detaljerne i denne funktion, lad os starte med det grundlæggende og forstå, hvad RAG er, dets fordele, og hvordan denne nye funktion muliggør genfinding og generering af indhold til tidsmæssige behov.

Hvad er Retrieval Augmented Generation?

FM-drevne kunstig intelligens (AI) assistenter har begrænsninger, såsom at give forældede oplysninger eller kæmpe med kontekst uden for deres træningsdata. RAG løser disse problemer ved at tillade FM'er at krydshenvise autoritative videnkilder, før de genererer svar.

Med RAG, når en bruger stiller et spørgsmål, henter systemet relevant kontekst fra en kureret videnbase, såsom virksomhedsdokumentation. Det giver denne kontekst til FM, som bruger den til at generere et mere informeret og præcist svar. RAG hjælper med at overvinde FM-begrænsninger ved at udvide dens muligheder med en organisations proprietære viden, hvilket gør det muligt for chatbots og AI-assistenter at levere opdaterede, kontekstspecifikke informationer skræddersyet til forretningsbehov uden at omskole hele FM. Hos AWS anerkender vi RAG's potentiale og har arbejdet på at forenkle implementeringen af ​​det gennem Knowledge Bases for Amazon Bedrock, hvilket giver en fuldt administreret RAG-oplevelse.

Kortsigtede og øjeblikkelige informationsbehov

Selvom en videnbase gør alt det tunge løft og fungerer som et vedvarende stort lager af virksomhedsviden, kan du kræve midlertidig adgang til data til specifikke opgaver eller analyser inden for isolerede brugersessioner. Traditionelle RAG-tilgange er ikke optimeret til disse kortsigtede, sessionsbaserede dataadgangsscenarier.

Virksomheder pådrager sig gebyrer for datalagring og administration. Dette kan gøre RAG mindre omkostningseffektiv for organisationer med meget dynamiske eller flygtige informationskrav, især når data kun er nødvendige til specifikke, isolerede opgaver eller analyser.

Stil spørgsmål om et enkelt dokument uden opsætning

Denne nye mulighed for at chatte med dit dokument i Knowledge Bases for Amazon Bedrock løser de førnævnte udfordringer. Det giver en nul-opsætningsmetode til at bruge dit enkelt dokument til indholdshentning og generationsrelaterede opgaver sammen med FM'erne leveret af Amazon Bedrock. Med denne nye funktion kan du stille spørgsmål til dine data uden at skulle opsætte en vektordatabase eller indlæse data, hvilket gør det nemt at bruge dine virksomhedsdata.

Du kan nu interagere med dine dokumenter i realtid uden forudgående dataindtagelse eller databasekonfiguration. Du behøver ikke tage yderligere databeredskabstrin, før du forespørger dataene.

Denne nul-opsætningstilgang gør det ligetil at bruge dine virksomhedsinformationsaktiver med generativ AI ved hjælp af Amazon Bedrock.

Brug cases og fordele

Overvej et rekrutteringsfirma, der skal analysere CV'er og matche kandidater med passende jobmuligheder baseret på deres erfaring og færdigheder. Tidligere skulle du oprette en vidensbase, der påberåber dig en arbejdsgang for dataindtagelse for at sikre, at kun autoriserede rekrutterere kan få adgang til dataene. Derudover skal du administrere oprydning, når dataene ikke længere var nødvendige for en session eller kandidat. I sidste ende ville du betale mere for vektordatabaselagring og -styring end for den faktiske FM-brug. Denne nye funktion i Knowledge Bases for Amazon Bedrock gør det muligt for rekrutterere hurtigt og flygtigt at analysere CV'er og matche kandidater med passende jobmuligheder baseret på kandidatens erfaring og færdigheder.

For et andet eksempel kan du overveje en produktchef hos en teknologivirksomhed, som hurtigt skal analysere kundefeedback og supportbilletter for at identificere almindelige problemer og forbedringsområder. Med denne nye funktion kan du blot uploade et dokument for at udtrække indsigt på ingen tid. For eksempel kan du spørge "Hvad er kravene til mobilappen?" eller "Hvad er de almindelige smertepunkter, som kunderne nævner i forbindelse med vores onboarding-proces?" Denne funktion giver dig mulighed for hurtigt at syntetisere denne information uden besværet med dataforberedelse eller administrationsomkostninger. Du kan også anmode om resuméer eller vigtige takeaways, såsom "Hvad er højdepunkterne fra dette kravdokument?"

Fordelene ved denne funktion rækker ud over omkostningsbesparelser og driftseffektivitet. Ved at eliminere behovet for vektordatabaser og dataindtagelse hjælper denne nye funktion i Knowledge Bases for Amazon Bedrock med at sikre dine proprietære data, hvilket gør dem kun tilgængelige i sammenhæng med isolerede brugersessioner.

Nu hvor vi har dækket funktionsfordelene og de use cases, det muliggør, lad os dykke ned i, hvordan du kan begynde at bruge denne nye funktion fra Knowledge Bases for Amazon Bedrock.

Chat med dit dokument i Knowledge Bases for Amazon Bedrock

Du har flere muligheder for at begynde at bruge denne funktion:

• Amazon Bedrock-konsollen
• Amazonas grundfjeld RetrieveAndGenerate API (SDK)

Lad os se, hvordan vi kan komme i gang med at bruge Amazon Bedrock-konsollen:

1. På Amazon Bedrock-konsollen, under Orchestration i navigationsruden skal du vælge Vidensgrundlag.
2. Vælg Chat med dit dokument.
   
3. Under Model, vælg Vælg model.
   
4. Vælg din model. Til dette eksempel bruger vi Claude 3 Sonnet-modellen (vi understøtter kun Sonnet på tidspunktet for lanceringen).
5. Vælg Indløs.
   
6. Under data, kan du uploade det dokument, du vil chatte med, eller pege på Amazon Simple Storage Service (Amazon S3) bucket-placering, der indeholder din fil. Til dette indlæg uploader vi et dokument fra vores computer.

De understøttede filformater er PDF, MD (Markdown), TXT, DOCX, HTML, CSV, XLS og XLSX. Sørg for, at filstørrelsen ikke overstiger 10 MB og ikke indeholder mere end 20,000 tokens. EN token anses for at være en tekstenhed, såsom et ord, underord, tal eller symbol, der behandles som en enkelt enhed. På grund af den forudindstillede grænse for indtagelsestoken anbefales det at bruge en fil under 10 MB. En teksttung fil, der er meget mindre end 10 MB, kan dog potentielt overtræde token-grænsen.

Du er nu klar til at chatte med dit dokument.

Som vist på det følgende skærmbillede kan du chatte med dit dokument i realtid.

For at tilpasse din prompt skal du indtaste din prompt under Systemkrav prompt.

På samme måde kan du bruge AWS SDK gennem retrieve_and_generate API på de vigtigste kodningssprog. I det følgende eksempel bruger vi AWS SDK til Python (Boto3):

import boto3

bedrock_client = boto3.client(service_name='bedrock-agent-runtime')
model_id = "your_model_id_here"    # Replace with your modelID
document_uri = "your_s3_uri_here"  # Replace with your S3 URI

def retrieveAndGenerate(input_text, sourceType, model_id, document_s3_uri=None, data=None):
    region = 'us-west-2'  
    model_arn = f'arn:aws:bedrock:{region}::foundation-model/{model_id}'

    if sourceType == "S3":
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "s3Location": {
                                "uri": document_s3_uri  
                            }
                        }
                    ]
                }
            }
        )
        
    else:
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "byteContent": {
                                "identifier": "testFile.txt",
                                "contentType": "text/plain",
                                "data": data  
                            }
                        }
                    ]
                }
            }
        )

response = retrieveAndGenerate(
                                input_text="What is the main topic of this document?",
                                sourceType="S3", 
                                model_id=model_id,
                                document_s3_uri=document_uri
                              )
                    
print(response['output']['text'])

Konklusion

I dette indlæg dækkede vi, hvordan Knowledge Bases for Amazon Bedrock nu forenkler at stille spørgsmål til et enkelt dokument. Vi udforskede kernekoncepterne bag RAG, de udfordringer, denne nye funktion adresserer, og de forskellige use cases, den muliggør på tværs af forskellige roller og brancher. Vi demonstrerede også, hvordan man konfigurerer og bruger denne funktion gennem Amazon Bedrock-konsollen og AWS SDK, hvilket viser enkelheden og fleksibiliteten af ​​denne funktion, som giver en nul-setup-løsning til at indsamle information fra et enkelt dokument uden at oprette en vektordatabase. .

For yderligere at udforske mulighederne for vidensbaser til Amazon Bedrock, se følgende ressourcer:

Del og lær med vores generative AI-fællesskab på community.aws.

Om forfatterne

Suman Debnath er en Principal Developer Advocate for Machine Learning hos Amazon Web Services. Han taler ofte ved AI/ML-konferencer, events og møder rundt om i verden. Han er passioneret omkring distribuerede systemer i stor skala og er en ivrig fan af Python.

Sebastian Munera er softwareingeniør i Amazon Bedrock Knowledge Bases-teamet hos AWS, hvor han fokuserer på at bygge kundeløsninger, der udnytter Generative AI- og RAG-applikationer. Han har tidligere arbejdet på at bygge Generative AI-baserede løsninger til kunder for at strømline deres processer og Low code/No code-applikationer. I sin fritid nyder han at løbe, løfte og pille ved teknologi.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-in-amazon-bedrock-now-simplifies-asking-questions-on-a-single-document/