Mødenotater er en afgørende del af samarbejdet, men alligevel falder de ofte igennem sprækkerne. Mellem at lede diskussioner, lytte nøje og skrive noter er det nemt for nøgleinformation at glide væk uoptaget. Selv når noter er fanget, kan de være uorganiserede eller ulæselige, hvilket gør dem ubrugelige.
I dette indlæg undersøger vi, hvordan du bruger Amazon Transcrib , Amazonas grundfjeld til automatisk at generere rene, kortfattede resuméer af video- eller lydoptagelser. Uanset om det er et internt teammøde, konferencesession eller indtjeningsopkald, kan denne tilgang hjælpe dig med at destillere timers indhold ned til væsentlige punkter.
Vi gennemgår en løsning for at transskribere et projektteammøde og opsummerer de vigtigste takeaways med Amazon Bedrock. Vi diskuterer også, hvordan du kan tilpasse denne løsning til andre almindelige scenarier som kursusforelæsninger, interviews og salgsopkald. Læs videre for at forenkle og automatisere din noteproces.
Løsningsoversigt
Ved at kombinere Amazon Transcribe og Amazon Bedrock kan du spare tid, fange indsigt og forbedre samarbejdet. Amazon Transcribe er en automatisk talegenkendelsestjeneste (ASR), der gør det nemt at tilføje tale-til-tekst-funktion til applikationer. Den bruger avancerede deep learning-teknologier til nøjagtigt at transskribere lyd til tekst. Amazon Bedrock er en fuldt administreret tjeneste, der tilbyder et udvalg af højtydende fundamentmodeller (FM'er) fra førende AI-virksomheder som AI21 Labs, Anthropic, Cohere, Meta, Stability AI og Amazon med en enkelt API, sammen med et bredt sæt af funktioner, du har brug for til at bygge generative AI-applikationer. Med Amazon Bedrock kan du nemt eksperimentere med en række top-FM'er og privat tilpasse dem med dine data ved hjælp af teknikker såsom finjustering og Retrieval Augmented Generation (RAG).
Løsningen præsenteret i dette indlæg er orkestreret ved hjælp af en AWS-trinfunktioner tilstandsmaskine, der udløses, når du uploader en optagelse til den udpegede Amazon Simple Storage Service (Amazon S3) spand. Step Functions giver dig mulighed for at skabe serverløse arbejdsgange til at orkestrere og forbinde komponenter på tværs af AWS-tjenester. Det håndterer den underliggende kompleksitet, så du kan fokusere på applikationslogik. Det er nyttigt til at koordinere opgaver, distribueret behandling, ETL (ekstrahere, transformere og indlæse) og automatisering af forretningsprocesser.
Følgende diagram illustrerer løsningsarkitekturen på højt niveau.
Løsningsarbejdsgangen omfatter følgende trin:
- En bruger gemmer en optagelse i S3 asset bucket.
- Denne handling udløser Trinfunktions-transskriptions- og opsummeringstilstandsmaskinen.
- Som en del af statsmaskinen er en AWS Lambda funktionen udløses, som transskriberer optagelsen ved hjælp af Amazon Transcribe og gemmer transskriptionen i aktivbøtten.
- En anden Lambda-funktion henter transskriptionen og genererer et resumé ved hjælp af den antropiske Claude-model i Amazon Bedrock.
- Til sidst bruger en sidste Lambda-funktion Amazon Simple Notification Service (Amazon SNS) for at sende en oversigt over optagelsen til modtageren.
Denne løsning understøttes i regioner, hvor antropiske Claude på Amazon Bedrock er til rådighed.
Statsmaskinen orkestrerer trinene til at udføre de specifikke opgaver. Følgende diagram illustrerer den detaljerede proces.
Forudsætninger
Amazon Bedrock-brugere skal anmode om adgang til modeller, før de er tilgængelige til brug. Dette er en engangshandling. For denne løsning skal du aktivere adgang til modellen Anthropic Claude (ikke Antropisk Claude Instant) i Amazon Bedrock. For mere information, se Modeladgang.
Implementer løsningsressourcer
Løsningen implementeres ved hjælp af en AWS CloudFormation skabelon, findes på GitHub repo, for automatisk at levere de nødvendige ressourcer på din AWS-konto. Skabelonen kræver følgende parametre:
- E-mailadresse brugt til at sende oversigt – Resuméet vil blive sendt til denne adresse. Du skal bekræfte den første Amazon SNS-bekræftelses-e-mail, før du modtager yderligere meddelelser.
- Sammenfattende instruktioner – Dette er instruktionerne givet til Amazon Bedrock-modellen for at generere resuméet.
Kør løsningen
Når du har implementeret løsningen ved hjælp af AWS CloudFormation, skal du udføre følgende trin:
- Bekræft Amazon SNS-e-mail-bekræftelsen, som du skal modtage et øjeblik efter oprettelse af CloudFormation-stakken.
- På AWS CloudFormation-konsollen skal du navigere til den stak, du lige har oprettet.
- På stakkens Udgange fanen, og se efter den værdi, der er knyttet til
AssetBucketName
; det vil ligne nogetsummary-generator-assetbucket-xxxxxxxxxxxxx
. - På Amazon S3-konsollen skal du navigere til din aktivkasse.
Det er her, du uploader dine optagelser. Gyldige filformater er MP3, MP4, WAV, FLAC, AMR, OGG og WebM.
- Upload din optagelse til
recordings
mappe.
Upload af optagelser vil automatisk udløse Step Functions-tilstandsmaskinen. Til dette eksempel bruger vi en prøveoptagelse af teammøder i sample-recording
mappe i GitHub-lageret.
- På Step Functions-konsollen skal du navigere til opsummeringsgeneratorens tilstandsmaskine.
- Vælg navnet på den tilstandsmaskine, der kører med status Løb.
Her kan du se tilstandsmaskinens fremskridt, mens den behandler optagelsen.
- Efter at den når sin Succes stat, bør du modtage et e-mail-resumé af optagelsen.
Alternativt kan du navigere til S3 assets bucket og se transskriptionen der i transcripts-mappen.
Gennemgå oversigten
Du vil få optagelsesoversigten sendt til den adresse, du angav, da du oprettede CloudFormation-stakken. Hvis du ikke modtager e-mailen om et øjeblik, skal du sørge for, at du har bekræftet Amazon SNS-bekræftelses-e-mailen, som du skulle have modtaget, efter du oprettede stakken, og upload derefter optagelsen igen, hvilket vil udløse oversigtsprocessen.
Denne løsning inkluderer en mock teammødeoptagelse, som du kan bruge til at teste løsningen. Resuméet vil ligne det følgende eksempel. På grund af arten af generativ AI vil dit output dog se lidt anderledes ud, men indholdet skal være tæt på.
Her er de vigtigste pointer fra standup:
- Joe var færdig med at gennemgå den nuværende tilstand for opgave EDU1 og oprettede en ny opgave for at udvikle den fremtidige tilstand. Den nye opgave ligger i efterslæbet for at blive prioriteret. Han starter nu EDU2, men er blokeret ved ressourcevalg.
- Rob skabte en tagging-strategi for SLG1 baseret på bedste praksis, men det kan være nødvendigt at koordinere med andre teams, der har skabt deres egne strategier, for at tilpasse sig en ensartet tilgang. En ny opgave blev oprettet for at koordinere tagging-strategier.
- Rob har gjort fremskridt med fejlsøgningen til SLG2, men har muligvis brug for yderligere hjælp. Denne opgave vil blive flyttet til Sprint 2 for at give tid til at få ekstra ressourcer.
Næste trin:
- Joe for at fortsætte med at arbejde på EDU2, indtil ressourcevalg er besluttet
- Ny opgave, der skal prioriteres for at koordinere tagging-strategier på tværs af teams
- SLG2 flyttede til Sprint 2
- Standups flytter til mandage fra næste uge
Udvid løsningen
Nu hvor du har en fungerende løsning, er her nogle potentielle ideer til at tilpasse løsningen til dine specifikke brugssituationer:
- Prøv at ændre processen, så den passer til dit tilgængelige kildeindhold og ønskede output:
- I situationer, hvor transskriptioner er tilgængelige, skal du oprette en alternativ Trinfunktions-arbejdsgang for at indlæse eksisterende tekstbaserede eller PDF-baserede transskriptioner.
- I stedet for at bruge Amazon SNS til at underrette modtagere via e-mail, kan du bruge det til at sende output til et andet slutpunkt, såsom et teamsamarbejdswebsted eller til teamets chatkanal.
- Prøv at ændre oversigtsvejledningen, CloudFormation stack-parameteren, der leveres til Amazon Bedrock, for at producere output, der er specifikke for din brugssag (dette er den generative AI-prompt):
- Når du opsummerer en virksomheds indtjeningsopkald, kan du have modellen til at fokusere på potentielle lovende muligheder, bekymringsområder og ting, som du fortsat bør overvåge.
- Hvis du bruger dette til at opsummere en kursusforelæsning, kan modellen identificere kommende opgaver, opsummere nøglebegreber, liste fakta og filtrere enhver lille snak fra optagelsen.
- For den samme optagelse skal du oprette forskellige oversigter for forskellige målgrupper:
- Ingeniørers resuméer fokuserer på designbeslutninger, tekniske udfordringer og kommende leverancer.
- Projektledernes resuméer fokuserer på tidslinjer, omkostninger, leverancer og handlingspunkter.
- Projektsponsorer får en kort opdatering om projektstatus og eskaleringer.
- For længere optagelser, prøv at generere oversigter for forskellige niveauer af interesse og tidsforpligtelse. Opret f.eks. en enkelt sætning, et enkelt afsnit, en enkelt side eller en dybdegående oversigt. Ud over prompten vil du måske justere
max_tokens_to_sample
parameter for at rumme forskellige indholdslængder.
Ryd op
For at rydde op i løsningen skal du slette CloudFormation-stakken, som du oprettede tidligere. Bemærk, at sletning af stakken ikke vil slette aktivsamlingen. Hvis du ikke længere har brug for optagelserne eller udskrifterne, kan du slette denne bucket separat. Amazon Transcribe vil automatisk slette transskriptionsopgaver efter 90 dage, men du kan slette disse manuelt inden da.
Konklusion
I dette indlæg undersøgte vi, hvordan man bruger Amazon Transcribe og Amazon Bedrock til automatisk at generere rene, kortfattede resuméer af video- eller lydoptagelser. Vi opfordrer dig til at fortsætte med at evaluere Amazon Bedrock, Amazon Transcribe og andre AWS AI-tjenester, som f.eks amazontekst, Amazon Oversætog Amazon-anerkendelse, for at se, hvordan de kan hjælpe med at nå dine forretningsmål.
Om forfatterne
Rob Barnes er hovedkonsulent for AWS Professional Services. Han arbejder sammen med vores kunder for at løse sikkerheds- og overholdelseskrav i stor skala i komplekse AWS-miljøer med flere konti gennem automatisering.
Jason Stehle er Senior Solutions Architect hos AWS med base i New England-området. Han arbejder med kunder for at tilpasse AWS-kapaciteter til deres største forretningsmæssige udfordringer. Uden for arbejdet bruger han sin tid på at bygge ting og se tegneseriefilm med sin familie.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/create-summaries-of-recordings-using-generative-ai-with-amazon-bedrock-and-amazon-transcribe/
- :har
- :er
- :ikke
- :hvor
- $OP
- 100
- 7
- 8
- a
- I stand
- adgang
- imødekomme
- Konto
- præcist
- anerkende
- erkendte
- tværs
- Handling
- tilføje
- Desuden
- Yderligere
- adresse
- fremskreden
- Efter
- igen
- AI
- AI-tjenester
- tilpasse
- tillade
- sammen
- også
- Amazon
- Amazon Transcrib
- Amazon Web Services
- an
- ,
- Antropisk
- enhver
- api
- Anvendelse
- applikationer
- tilgang
- arkitektur
- ER
- OMRÅDE
- områder
- AS
- aktiv
- Aktiver
- forbundet
- At
- høringer
- lyd
- augmented
- automatisere
- Automatisk Ur
- automatisk
- Automation
- til rådighed
- væk
- AWS
- AWS CloudFormation
- AWS Professional Services
- baseret
- BE
- fordi
- før
- BEDSTE
- bedste praksis
- mellem
- Bit
- blokeret
- bog
- bred
- bygge
- Bygning
- virksomhed
- Forretningsproces
- men
- ringe
- Opkald
- CAN
- kapaciteter
- kapacitet
- fange
- fanget
- tilfælde
- tilfælde
- udfordringer
- skiftende
- Kanal
- valg
- ren
- Luk
- nøje
- samarbejde
- kombinerer
- engagement
- Fælles
- Virksomheder
- Selskabs
- fuldføre
- komplekse
- kompleksitet
- Compliance
- komponenter
- begreber
- Bekymring
- kortfattet
- Konference
- bekræftelse
- Tilslut
- Konsol
- konsulent
- indhold
- fortsæt
- koordinere
- koordinerende
- Omkostninger
- kunne
- Kursus
- skabe
- oprettet
- Oprettelse af
- afgørende
- Nuværende
- Nuværende tilstand
- Kunder
- tilpasse
- data
- Dage
- afgørelser
- dyb
- dyb læring
- indsætte
- indsat
- Design
- udpeget
- ønskes
- detaljeret
- udvikle
- forskellige
- diskutere
- diskussioner
- distribueret
- Dont
- ned
- tidligere
- Indtjening
- indtjeningsopkald
- nemt
- let
- muliggøre
- tilskynde
- Endpoint
- England
- forbedre
- miljøer
- evaluere
- Endog
- eksempel
- eksisterende
- eksperiment
- udforske
- udforsket
- ekstra
- ekstrakt
- fakta
- Fall
- familie
- få
- File (Felt)
- filtrere
- endelige
- passer
- Fokus
- efter
- Til
- fundet
- Foundation
- fra
- fuldt ud
- funktion
- funktioner
- fremtiden
- generere
- genererer
- generere
- generation
- generative
- Generativ AI
- få
- GitHub
- given
- størst
- Håndterer
- Have
- he
- hjælpe
- link.
- højt niveau
- højtydende
- hans
- HOURS
- Hvordan
- How To
- Men
- HTML
- http
- HTTPS
- ideer
- identificere
- if
- illustrerer
- in
- dybdegående
- omfatter
- oplysninger
- initial
- indsigt
- øjeblikkelig
- anvisninger
- interesse
- interne
- Interviews
- ind
- IT
- Varer
- ITS
- Karriere
- jpg
- lige
- Nøgle
- Labs
- førende
- læring
- læsning
- foredrag
- Lets
- niveauer
- ligesom
- Liste
- Lytte
- belastning
- logik
- længere
- Se
- maskine
- lavet
- lave
- maerker
- lykkedes
- manuelt
- Kan..
- Mød
- møde
- Meta
- model
- modeller
- Moments
- Overvåg
- mere
- flyttet
- Film
- flytning
- skal
- navn
- Natur
- Naviger
- nødvendig
- Behov
- Ny
- næste
- ingen
- Bemærk
- Noter
- underretning
- meddelelser
- nu
- målsætninger
- of
- Tilbud
- tit
- on
- Muligheder
- or
- orkestreret
- Andet
- vores
- ud
- output
- udgange
- uden for
- egen
- side
- parameter
- parametre
- del
- Udfør
- plato
- Platon Data Intelligence
- PlatoData
- punkter
- Indlæg
- potentiale
- praksis
- forelagt
- Main
- prioriteret
- behandle
- Procesautomatisering
- Processer
- forarbejdning
- producere
- professionel
- Progress
- projekt
- lovende
- forudsat
- bestemmelse
- når
- Læs
- modtage
- modtaget
- modtagende
- modtagere
- anerkendelse
- optagelse
- henvise
- regioner
- rendering
- Repository
- anmode
- Krav
- Kræver
- ressource
- Ressourcer
- gennemgå
- Kør
- salg
- samme
- Gem
- Scale
- scenarier
- Anden
- sikkerhed
- se
- valg
- send
- senior
- sendt
- dømme
- Serverless
- tjeneste
- Tjenester
- Session
- sæt
- bør
- lignende
- Simpelt
- forenkle
- enkelt
- websted
- situationer
- lille
- So
- løsninger
- Løsninger
- nogle
- noget
- Kilde
- specifikke
- tale
- Talegenkendelse
- tale-til-tekst
- Sponsorer
- Sprint
- Stabilitet
- stable
- Starter
- Tilstand
- Status
- Trin
- Steps
- opbevaring
- forhandler
- ligetil
- strategier
- Strategi
- sådan
- opsummere
- RESUMÉ
- Understøttet
- sikker
- Takeaways
- Tal
- Opgaver
- opgaver
- hold
- hold
- Teknisk
- teknikker
- Teknologier
- skabelon
- prøve
- tekst
- at
- Fremtiden
- Staten
- deres
- Them
- derefter
- Der.
- Disse
- de
- ting
- denne
- Gennem
- tid
- tidslinjer
- til
- top
- Transcript
- Transform
- udløse
- udløst
- prøv
- underliggende
- indtil
- kommende
- Opdatering
- brug
- brug tilfælde
- anvendte
- ubrugelig
- Bruger
- brugere
- bruger
- ved brug af
- gyldig
- værdi
- række
- via
- video
- Specifikation
- gå
- ønsker
- var
- Ur
- ser
- we
- web
- webservices
- hvornår
- hvorvidt
- som
- WHO
- vilje
- med
- Arbejde
- workflow
- arbejdsgange
- arbejder
- virker
- endnu
- Du
- Din
- zephyrnet