Generatieve AI is een type AI dat nieuwe inhoud en ideeën kan creëren, waaronder gesprekken, verhalen, afbeeldingen, video's en muziek. Het wordt mogelijk gemaakt door grote taalmodellen (LLM's) die vooraf zijn getraind in grote hoeveelheden gegevens en die gewoonlijk basismodellen (FM's) worden genoemd.
Met de komst van deze LLM's of FM's kunnen klanten eenvoudig op generatieve AI gebaseerde applicaties bouwen voor reclame, kennisbeheer en klantenondersteuning. Het realiseren van de impact van deze applicaties kan verbeterde inzichten voor de klanten opleveren en een positieve invloed hebben op de prestatie-efficiëntie in de organisatie, door het eenvoudig ophalen van informatie en het automatiseren van bepaalde tijdrovende taken.
Met generatieve AI op AWS kunt u uw applicaties opnieuw uitvinden, geheel nieuwe klantervaringen creëren en de algehele productiviteit verbeteren.
In dit bericht bouwen we een veilige bedrijfsapplicatie met behulp van AWS versterken dat roept een Amazon SageMaker JumpStart funderingsmodel, Amazon Sage Maker eindpunten, en Amazon OpenSearch-service om uit te leggen hoe u tekst-naar-tekst of tekst-naar-afbeelding en Retrieval Augmented Generation (RAG) kunt maken. U kunt dit bericht gebruiken als referentie voor het bouwen van veilige bedrijfsapplicaties in het generatieve AI-domein met behulp van AWS-services.
Overzicht oplossingen
Deze oplossing maakt gebruik van SageMaker JumpStart-modellen om tekst-naar-tekst-, tekst-naar-afbeelding- en tekstinsluitingsmodellen te implementeren als SageMaker-eindpunten. Deze SageMaker-eindpunten worden gebruikt in de Amplify React-toepassing via Amazon API-gateway en AWS Lambda functies. Om de applicatie en API's te beschermen tegen onbedoelde toegang, Amazon Cognito is geïntegreerd in Amplify React-, API Gateway- en Lambda-functies. SageMaker-eindpunten en Lambda worden geïmplementeerd in a particuliere VPC, dus de communicatie van API Gateway naar Lambda-functies wordt beschermd met behulp van API Gateway VPC-koppelingen. Het volgende werkstroomdiagram illustreert deze oplossing.
De workflow omvat de volgende stappen:
- Initiële setup: SageMaker JumpStart FM's worden ingezet als SageMaker-eindpunten, met drie eindpunten gemaakt op basis van SageMaker JumpStart-modellen. Het tekst-naar-afbeelding-model is een Stability AI Stable Diffusion-basismodel dat zal worden gebruikt voor het genereren van afbeeldingen. Het tekst-naar-tekst-model dat wordt gebruikt voor het genereren van tekst en dat in de oplossing wordt ingezet, is een Hugging Face Flan T5 XL-model. Het tekstinsluitingsmodel, dat zal worden gebruikt voor het genereren van insluitingen die moeten worden geïndexeerd in de Amazon OpenSearch Service of voor het zoeken in de context naar de inkomende vraag, is een Hugging Face GPT 6B FP16-insluitingsmodel. Alternatieve LLM's kunnen worden ingezet op basis van de use case en modelprestatiebenchmarks. Voor meer informatie over funderingsmodellen, zie Aan de slag met Amazon SageMaker JumpStart.
- U krijgt toegang tot de React-applicatie vanaf uw computer. De React-app heeft drie pagina's: een pagina die afbeeldingsprompts accepteert en de gegenereerde afbeelding weergeeft; een pagina die tekstprompts accepteert en de gegenereerde tekst weergeeft; en een pagina die een vraag beantwoordt, de context vindt die overeenkomt met de vraag, en het antwoord weergeeft dat is gegenereerd door het tekst-naar-tekstmodel.
- De React-app die is gebouwd met Amplify-bibliotheken, wordt gehost op Amplify en aan de gebruiker aangeboden in de Amplify-host-URL. Amplify verzorgt de hostingomgeving voor de React applicatie. De Amplify CLI wordt gebruikt om de Amplify-hostingomgeving op te starten en de code in de Amplify-hostingomgeving te implementeren.
- Als u niet bent geverifieerd, wordt u voor Amazon Cognito geverifieerd met behulp van de Amplify React UI-bibliotheek.
- Wanneer u input geeft en het formulier verzendt, wordt de aanvraag verwerkt via API Gateway.
- Lambda-functies zuiveren de gebruikersinvoer en roepen de respectieve SageMaker-eindpunten aan. Lambda-functies construeren ook de aanwijzingen op basis van de opgeschoonde gebruikersinvoer in het respectieve formaat dat door de LLM wordt verwacht. Deze Lambda-functies formatteren ook de uitvoer van de LLM's en sturen het antwoord terug naar de gebruiker.
- SageMaker-eindpunten worden ingezet voor tekst-naar-tekst (Flan T5 XXL), tekst-naar-inbedding (GPTJ-6B) en tekst-naar-afbeelding-modellen (Stability AI). Er worden drie afzonderlijke eindpunten geïmplementeerd die gebruik maken van de aanbevolen standaard SageMaker-instantietypen.
- Insluitingen voor documenten worden gegenereerd met behulp van het tekst-naar-insluitingen-model en deze insluitingen worden geïndexeerd in de OpenSearch Service. Er is een k-Nearest Neighbor (k-NN)-index ingeschakeld om het zoeken naar inbedding van de OpenSearch-service mogelijk te maken.
- An AWS Fargate job neemt documenten en segmenteert ze in kleinere pakketten, roept het tekst-naar-embeddings LLM-model aan en indexeert de geretourneerde insluitingen in de OpenSearch Service om in context te zoeken, zoals eerder beschreven.
Gegevenssetoverzicht
De dataset die voor deze oplossing wordt gebruikt, is pile-of-law
in de Knuffelgezicht-repository. Deze dataset is een groot corpus van juridische en administratieve gegevens. Voor dit voorbeeld gebruiken we train.cc_casebooks.jsonl.xz
binnen deze repository. Dit is een verzameling onderwijscasussen samengesteld in een JSONL-formaat, zoals vereist door de LLM's.
Voorwaarden
Voordat u begint, moet u ervoor zorgen dat u aan de volgende voorwaarden voldoet:
Implementeer de oplossing
In deze AWS-voorbeelden is een AWS CDK-project beschikbaar gesteld dat alle architecturale componenten omvat GitHub-repository. Ga als volgt te werk om deze oplossing te implementeren:
- Kloon het GitHub-repository naar uw computer.
- Ga naar de hoofdmap.
- Initialiseer de virtuele Python-omgeving.
- Installeer de vereiste afhankelijkheden die zijn opgegeven in het
requirements.txt
bestand. - Initialiseer AWS CDK in de projectmap.
- Bootstrap AWS CDK in de projectmap.
- Gebruik de AWS CDK-implementatieopdracht om de stapels te implementeren.
- Ga naar de map Amplify in de projectmap.
- Initialiseer Amplify en accepteer de standaardwaarden van de CLI.
- Voeg Amplify-hosting toe.
- Publiceer de Amplify-frontend vanuit de Amplify-map en noteer de domeinnaam die aan het einde van de run wordt opgegeven.
- Voeg op de Amazon Cognito-console een gebruiker toe aan de Amazon Cognito-instantie die bij de implementatie is ingericht.
- Ga naar de domeinnaam uit stap 11 en geef de Amazon Cognito-inloggegevens op om toegang te krijgen tot de applicatie.
Activeer een OpenSearch-indexeringstaak
Het AWS CDK-project heeft een Lambda-functie geïmplementeerd met de naam GenAIServiceTxt2EmbeddingsOSIndexingLambda
. Navigeer naar deze functie op de Lambda-console.
Voer een test uit met een lege payload, zoals weergegeven in de volgende schermafbeelding.
Deze Lambda-functie activeert een Fargate-taak Amazon Elastic Container-service (Amazon ECS) draait binnen de VPC. Bij deze Fargate-taak wordt het meegeleverde JSONL-bestand gesegmenteerd en wordt er een insluitingsindex gemaakt. De insluiting van elke segment is het resultaat van het aanroepen van het LLM-eindpunt tekst-naar-inbedding dat is geïmplementeerd als onderdeel van het AWS CDK-project.
Opruimen
Om toekomstige kosten te voorkomen, verwijdert u het SageMaker-eindpunt en stopt u alle Lambda-functies. Verwijder ook de uitvoergegevens in Amazon S3 die u hebt gemaakt tijdens het uitvoeren van de applicatieworkflow. U moet de gegevens in de S3-buckets verwijderen voordat u de buckets kunt verwijderen.
Conclusie
In dit bericht hebben we een end-to-end-aanpak gedemonstreerd om een veilige bedrijfsapplicatie te creëren met behulp van generatieve AI en RAG. Deze aanpak kan worden gebruikt bij het bouwen van veilige en schaalbare generatieve AI-applicaties op AWS. We moedigen u aan om de AWS CDK-app in uw account te implementeren en de Generatieve AI-oplossing te bouwen.
Extra middelen
Raadpleeg het volgende voor meer informatie over generatieve AI-toepassingen op AWS:
Over de auteurs
Jay Pillai is een Principal Solutions Architect bij Amazon Web Services. Als leider op het gebied van informatietechnologie is Jay gespecialiseerd in kunstmatige intelligentie, data-integratie, business intelligence en gebruikersinterfacedomeinen. Hij heeft 23 jaar uitgebreide ervaring met het werken met verschillende klanten in de bedrijfsdomeinen vastgoed, financiële dienstverlening, verzekeringen, betalingen en marktonderzoek.
Shikhar Kwatra is een AI/ML Specialist Solutions Architect bij Amazon Web Services en werkt samen met een toonaangevende Global System Integrator. Hij heeft de titel verdiend van een van de jongste Indiase meester-uitvinders met meer dan 500 patenten op het gebied van AI/ML en IoT. Shikhar helpt bij het ontwerpen, bouwen en onderhouden van kostenefficiënte, schaalbare cloudomgevingen voor de organisatie, en ondersteunt de GSI-partner bij het bouwen van strategische brancheoplossingen op AWS. Shikhar speelt graag gitaar, componeert muziek en beoefent in zijn vrije tijd mindfulness.
Karthik Sonti leidt een wereldwijd team van oplossingsarchitecten dat zich richt op het conceptualiseren, bouwen en lanceren van horizontale, functionele en verticale oplossingen met Accenture om onze gezamenlijke klanten te helpen hun bedrijf op een gedifferentieerde manier te transformeren op AWS.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- ChartPrime. Verhoog uw handelsspel met ChartPrime. Toegang hier.
- BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/build-a-secure-enterprise-application-with-generative-ai-and-rag-using-amazon-sagemaker-jumpstart/
- : heeft
- :is
- :niet
- 100
- 11
- 23
- 500
- 7
- a
- Over
- Accenture
- ACCEPTEREN
- toegang
- Account
- over
- toevoegen
- administratief
- komst
- ADVERTISING
- tegen
- AI
- AI / ML
- AIDS
- Alles
- toelaten
- ook
- alternatief
- Amazone
- Amazon Cognito
- Amazon OpenSearch-service
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- hoeveelheden
- an
- en
- beantwoorden
- api
- APIs
- gebruiken
- Aanvraag
- toepassingen
- nadering
- architecten
- bouwkundig
- ZIJN
- kunstmatig
- kunstmatige intelligentie
- AS
- At
- aangevuld
- geverifieerd
- automatiseren
- Beschikbaar
- vermijd
- AWS
- terug
- gebaseerde
- BE
- geweest
- vaardigheden
- benchmarks
- Bootstrap
- bouw
- Gebouw
- bebouwd
- bedrijfsdeskundigen
- business intelligence
- by
- CAN
- geval
- zeker
- lasten
- klanten
- Cloud
- code
- Collectie
- algemeen
- Communicatie
- componenten
- computer
- troosten
- bouwen
- geconsumeerd
- Containers
- content
- verband
- conversaties
- en je merk te creëren
- aangemaakt
- curated
- klant
- Klantenservice
- Klanten
- gegevens
- Standaard
- defaults
- gedemonstreerd
- afhankelijkheden
- implementeren
- ingezet
- inzet
- beschreven
- gegevens
- gedifferentieerde
- Verspreiding
- displays
- do
- documenten
- domein
- domeinnaam
- domeinen
- elk
- verdiend
- En het is heel gemakkelijk
- Onderwijs
- doeltreffendheid
- inbedding
- ingeschakeld
- aanmoedigen
- einde
- eind tot eind
- Endpoint
- verbeterde
- Enterprise
- geheel
- Milieu
- omgevingen
- vastgoed
- voorbeeld
- verwacht
- ervaring
- Ervaringen
- Verklaren
- uitgebreid
- Uitgebreide ervaring
- Gezicht
- Dien in
- financieel
- financiële diensten
- vondsten
- gericht
- volgend
- Voor
- formulier
- formaat
- Foundation
- oppompen van
- voor
- Voorkant
- functie
- functioneel
- functies
- toekomst
- poort
- gegenereerde
- het genereren van
- generatie
- generatief
- generatieve AI
- het krijgen van
- Globaal
- Hebben
- he
- hulp
- zijn
- houdt
- Horizontaal
- gastheer
- gehost
- Hosting
- Hoe
- How To
- http
- HTTPS
- ideeën
- illustreert
- beeld
- afbeeldingen
- Impact
- uitvoeren
- verbeteren
- in
- inclusief
- omvat
- Inclusief
- Inkomend
- index
- geïndexeerd
- indexen
- Indian
- -industrie
- informatie
- informatietechnologie
- invoer
- inzichten
- instantie
- verzekering
- geïntegreerde
- integratie
- Intelligentie
- Interface
- in
- Uitvinders
- oproept
- iot
- Jobomschrijving:
- gewricht
- jpg
- kennis
- Knowledge Management
- taal
- Groot
- lancering
- leider
- leidend
- Leads
- Juridisch
- bibliotheken
- Bibliotheek
- links
- LLM
- Log in
- gemaakt
- Het handhaven
- maken
- management
- manier
- Markt
- marktonderzoek
- meester
- matching
- Mindfulness
- model
- modellen
- meer
- Muziek
- Dan moet je
- naam
- Genoemd
- OP DEZE WEBSITE VIND JE
- New
- of
- on
- EEN
- or
- organisatie
- onze
- uitgang
- over
- totaal
- Paketten
- pagina
- paginas
- deel
- partner
- Octrooien
- betalingen
- prestatie
- Plato
- Plato gegevensintelligentie
- PlatoData
- spelen
- Post
- aangedreven
- vereisten
- die eerder
- Principal
- Verwerkt
- produktiviteit
- project
- beschermen
- beschermd
- zorgen voor
- mits
- biedt
- Python
- vraag
- Reageren
- vast
- vastgoed
- realiseren
- aanbevolen
- verwijzen
- verwezen
- opnieuw uit te vinden
- bewaarplaats
- te vragen
- nodig
- onderzoek
- degenen
- antwoord
- resultaat
- wortel
- lopen
- lopend
- sagemaker
- schaalbare
- zoeken
- beveiligen
- zien
- segment
- segmenten
- sturen
- apart
- service
- Diensten
- setup
- verscheidene
- getoond
- eenvoudigweg
- kleinere
- So
- oplossing
- Oplossingen
- specialist
- specialiseert
- gespecificeerd
- Stabiliteit
- stabiel
- Stacks
- gestart
- Stap voor
- Stappen
- stop
- Blog
- strategisch
- voorleggen
- ondersteuning
- steunen
- zeker
- system
- neemt
- Taak
- taken
- team
- Technologie
- proef
- tekst
- dat
- De
- hun
- Ze
- Deze
- dit
- drie
- Door
- niet de tijd of
- tijdrovend
- Titel
- naar
- Transformeren
- type dan:
- types
- ui
- URL
- .
- use case
- gebruikt
- Gebruiker
- User Interface
- toepassingen
- gebruik
- groot
- verticaal
- via
- Video's
- Virtueel
- was
- we
- web
- webservices
- welke
- en
- wil
- Met
- binnen
- workflow
- werkzaam
- jaar
- You
- jongste
- Your
- zephyrnet