Møtenotater er en avgjørende del av samarbeidet, men de faller ofte gjennom sprekkene. Mellom å lede diskusjoner, lytte nøye og skrive notater, er det lett for nøkkelinformasjon å slippe unna uregistrert. Selv når notater fanges opp, kan de være uorganiserte eller uleselige, noe som gjør dem ubrukelige.
I dette innlegget utforsker vi hvordan du kan bruke Amazon Transcribe og Amazonas grunnfjell for automatisk å generere rene, konsise sammendrag av video- eller lydopptak. Enten det er et internt teammøte, konferanseøkt eller inntektssamtale, kan denne tilnærmingen hjelpe deg å destillere timer med innhold ned til fremtredende punkter.
Vi går gjennom en løsning for å transkribere et prosjektgruppemøte og oppsummerer de viktigste alternativene med Amazon Bedrock. Vi diskuterer også hvordan du kan tilpasse denne løsningen for andre vanlige scenarier som kursforelesninger, intervjuer og salgssamtaler. Les videre for å forenkle og automatisere notatprosessen.
Løsningsoversikt
Ved å kombinere Amazon Transcribe og Amazon Bedrock kan du spare tid, fange innsikt og forbedre samarbeidet. Amazon Transcribe er en automatisk talegjenkjenningstjeneste (ASR) som gjør det enkelt å legge til tale-til-tekst-funksjonalitet til applikasjoner. Den bruker avanserte dyplæringsteknologier for nøyaktig å transkribere lyd til tekst. Amazon Bedrock er en fullt administrert tjeneste som tilbyr et utvalg av høyytende fundamentmodeller (FM-er) fra ledende AI-selskaper som AI21 Labs, Anthropic, Cohere, Meta, Stability AI og Amazon med ett enkelt API, sammen med et bredt sett av funksjoner du trenger for å bygge generative AI-applikasjoner. Med Amazon Bedrock kan du enkelt eksperimentere med en rekke topp-FM-er, og personlig tilpasse dem med dataene dine ved hjelp av teknikker som finjustering og Retrieval Augmented Generation (RAG).
Løsningen presentert i dette innlegget er orkestrert ved hjelp av en AWS trinnfunksjoner tilstandsmaskin som utløses når du laster opp et opptak til den angitte Amazon enkel lagringstjeneste (Amazon S3) bøtte. Step Functions lar deg lage serverløse arbeidsflyter for å orkestrere og koble sammen komponenter på tvers av AWS-tjenester. Den håndterer den underliggende kompleksiteten slik at du kan fokusere på applikasjonslogikk. Det er nyttig for å koordinere oppgaver, distribuert prosessering, ETL (ekstrahere, transformere og laste) og automatisering av forretningsprosesser.
Følgende diagram illustrerer løsningsarkitekturen på høyt nivå.
Løsningsarbeidsflyten inkluderer følgende trinn:
- En bruker lagrer et opptak i S3-eiendelsbøtten.
- Denne handlingen utløser trinnfunksjons-transkripsjons- og oppsummeringstilstandsmaskinen.
- Som en del av statsmaskinen, en AWS Lambda funksjonen utløses, som transkriberer opptaket ved hjelp av Amazon Transcribe og lagrer transkripsjonen i eiendelbøtten.
- En andre Lambda-funksjon henter transkripsjonen og genererer et sammendrag ved å bruke den antropiske Claude-modellen i Amazon Bedrock.
- Til slutt bruker en siste Lambda-funksjon Amazon enkel varslingstjeneste (Amazon SNS) for å sende et sammendrag av opptaket til mottakeren.
Denne løsningen støttes i regioner der Antropisk Claude på Amazonas grunnfjell er tilgjengelig.
Statsmaskinen orkestrerer trinnene for å utføre de spesifikke oppgavene. Følgende diagram illustrerer den detaljerte prosessen.
Forutsetninger
Amazon Bedrock-brukere må be om tilgang til modellene før de er tilgjengelige for bruk. Dette er en engangshandling. For denne løsningen må du aktivere tilgang til Anthropic Claude (ikke Anthropic Claude Instant)-modellen i Amazon Bedrock. For mer informasjon, se Modelltilgang.
Distribuer løsningsressurser
Løsningen distribueres ved hjelp av en AWS skyformasjon mal, funnet på GitHub repo, for automatisk å levere de nødvendige ressursene i AWS-kontoen din. Malen krever følgende parametere:
- E-postadresse brukt til å sende sammendrag – Sammendraget vil bli sendt til denne adressen. Du må bekrefte den første Amazon SNS-bekreftelses-e-posten før du mottar ytterligere varsler.
- Sammendragsinstruksjoner – Dette er instruksjonene gitt til Amazon Bedrock-modellen for å generere sammendraget.
Kjør løsningen
Etter at du har distribuert løsningen ved hjelp av AWS CloudFormation, fullfør følgende trinn:
- Bekreft Amazon SNS-e-postbekreftelsen som du bør motta noen få øyeblikk etter at du har opprettet CloudFormation-stakken.
- På AWS CloudFormation-konsollen, naviger til stabelen du nettopp opprettet.
- På stabelens Utganger fanen, og se etter verdien knyttet til
AssetBucketName
; det vil se noe slikt utsummary-generator-assetbucket-xxxxxxxxxxxxx
. - På Amazon S3-konsollen navigerer du til eiendelbøtten din.
Det er her du laster opp opptakene dine. Gyldige filformater er MP3, MP4, WAV, FLAC, AMR, OGG og WebM.
- Last opp opptaket ditt til
recordings
mappe.
Opplasting av opptak vil automatisk utløse tilstandsmaskinen Step Functions. For dette eksemplet bruker vi et eksempel på teammøteopptak i sample-recording
katalogen til GitHub-depotet.
- På Step Functions-konsollen, naviger til oppsummeringsgeneratorens tilstandsmaskin.
- Velg navnet på tilstandsmaskinen som kjøres med statusen kjører.
Her kan du se fremdriften til tilstandsmaskinen mens den behandler opptaket.
- Etter at den når sin Suksess stat, bør du motta et sammendrag av opptaket på e-post.
Alternativt kan du navigere til S3-eiendelsbøtten og se transkripsjonen der i transkripsjonsmappen.
Se gjennom sammendraget
Du vil få opptakssammendraget på e-post til adressen du oppga da du opprettet CloudFormation-stakken. Hvis du ikke mottar e-posten i løpet av noen få øyeblikk, sørg for at du bekreftet Amazon SNS-bekreftelses-e-posten som du skulle ha mottatt etter at du opprettet stabelen, og last deretter opp opptaket på nytt, noe som vil utløse sammendragsprosessen.
Denne løsningen inkluderer et falskt teammøteopptak som du kan bruke til å teste løsningen. Sammendraget vil ligne på følgende eksempel. På grunn av naturen til generativ AI, vil imidlertid utdataene dine se litt annerledes ut, men innholdet bør være nært.
Her er hovedpoengene fra standupen:
- Joe fullførte gjennomgangen av den nåværende tilstanden for oppgave EDU1 og opprettet en ny oppgave for å utvikle den fremtidige tilstanden. Den nye oppgaven ligger i etterslepet for å bli prioritert. Han starter nå EDU2, men er blokkert på ressursvalg.
- Rob laget en taggingstrategi for SLG1 basert på beste praksis, men må kanskje koordinere med andre team som har laget sine egne strategier for å innrette seg etter en enhetlig tilnærming. En ny oppgave ble opprettet for å koordinere taggestrategier.
- Rob har gjort fremskritt med feilsøking for SLG2, men kan trenge ytterligere hjelp. Denne oppgaven vil bli flyttet til Sprint 2 for å gi tid til å få ekstra ressurser.
Neste skritt:
- Joe fortsetter å jobbe med EDU2 som i stand til ressursvalg er bestemt
- Ny oppgave som skal prioriteres for å koordinere taggestrategier på tvers av team
- SLG2 flyttet til Sprint 2
- Standups flytter til mandager fra og med neste uke
Utvid løsningen
Nå som du har en fungerende løsning, her er noen potensielle ideer for å tilpasse løsningen for dine spesifikke brukstilfeller:
- Prøv å endre prosessen slik at den passer til tilgjengelig kildeinnhold og ønskede utdata:
- For situasjoner der transkripsjoner er tilgjengelige, oppretter du en alternativ arbeidsflyt for trinnfunksjoner for å overføre eksisterende tekstbaserte eller PDF-baserte transkripsjoner.
- I stedet for å bruke Amazon SNS til å varsle mottakere via e-post, kan du bruke den til å sende utdataene til et annet endepunkt, for eksempel et teamsamarbeidsnettsted eller til teamets chat-kanal.
- Prøv å endre oppsummeringsinstruksjonene CloudFormation stack-parameteren gitt til Amazon Bedrock for å produsere utdata som er spesifikke for brukssaken din (dette er den generative AI-ledeteksten):
- Når du oppsummerer et selskaps inntjening, kan du ha modellens fokus på potensielle lovende muligheter, bekymringsområder og ting du bør fortsette å overvåke.
- Hvis du bruker dette til å oppsummere en kursforelesning, kan modellen identifisere kommende oppgaver, oppsummere sentrale begreper, liste fakta og filtrere ut eventuell småprat fra opptaket.
- For samme innspilling, lag forskjellige sammendrag for forskjellige målgrupper:
- Ingeniørenes sammendrag fokuserer på designbeslutninger, tekniske utfordringer og kommende leveranser.
- Prosjektlederes sammendrag fokuserer på tidslinjer, kostnader, leveranser og handlingspunkter.
- Prosjektsponsorer får en kort oppdatering om prosjektstatus og eskaleringer.
- For lengre opptak, prøv å generere sammendrag for ulike nivåer av interesse og tidsforpliktelse. Lag for eksempel en enkelt setning, enkelt avsnitt, enkeltside eller et dyptgående sammendrag. I tillegg til ledeteksten, kan det være lurt å justere
max_tokens_to_sample
parameter for å imøtekomme ulike innholdslengder.
Rydd opp
For å rydde opp i løsningen, slett CloudFormation-stakken som du opprettet tidligere. Vær oppmerksom på at sletting av stabelen ikke vil slette eiendelbøtten. Hvis du ikke lenger trenger opptakene eller transkripsjonene, kan du slette denne bøtten separat. Amazon Transcribe vil automatisk slette transkripsjonsjobber etter 90 dager, men du kan slette disse manuelt før da.
konklusjonen
I dette innlegget undersøkte vi hvordan du bruker Amazon Transcribe og Amazon Bedrock for automatisk å generere rene, konsise sammendrag av video- eller lydopptak. Vi oppfordrer deg til å fortsette å evaluere Amazon Bedrock, Amazon Transcribe og andre AWS AI-tjenester, som amazontekst, Amazon Oversettog Amazon-anerkjennelse, for å se hvordan de kan bidra til å nå forretningsmålene dine.
Om forfatterne
Rob Barnes er hovedkonsulent for AWS Professional Services. Han samarbeider med kundene våre for å håndtere sikkerhets- og samsvarskrav i stor skala i komplekse AWS-miljøer med flere kontoer gjennom automatisering.
Jason Stehle er Senior Solutions Architect hos AWS, basert i New England-området. Han jobber med kunder for å tilpasse AWS-kapasiteten til deres største forretningsutfordringer. Utenom jobben bruker han tiden på å bygge ting og se på tegneseriefilmer med familien.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/create-summaries-of-recordings-using-generative-ai-with-amazon-bedrock-and-amazon-transcribe/
- : har
- :er
- :ikke
- :hvor
- $OPP
- 100
- 7
- 8
- a
- I stand
- adgang
- imøtekomme
- Logg inn
- nøyaktig
- anerkjenne
- erkjente
- tvers
- Handling
- legge til
- tillegg
- Ytterligere
- adresse
- avansert
- Etter
- en gang til
- AI
- AI-tjenester
- justere
- tillate
- langs
- også
- Amazon
- Amazon Transcribe
- Amazon Web Services
- an
- og
- Antropisk
- noen
- api
- Søknad
- søknader
- tilnærming
- arkitektur
- ER
- AREA
- områder
- AS
- eiendel
- Eiendeler
- assosiert
- At
- publikum
- lyd
- augmented
- automatisere
- Automatisk
- automatisk
- Automatisering
- tilgjengelig
- borte
- AWS
- AWS skyformasjon
- AWS profesjonelle tjenester
- basert
- BE
- fordi
- før du
- BEST
- beste praksis
- mellom
- Bit
- blokkert
- bok
- bred
- bygge
- Bygning
- virksomhet
- Forretningsprosess
- men
- ring
- Samtaler
- CAN
- evner
- evne
- fangst
- fanget
- saken
- saker
- utfordringer
- endring
- Kanal
- valg
- ren
- Lukke
- tett
- samarbeid
- kombinere
- engasjement
- Felles
- Selskaper
- Selskapets
- fullføre
- komplekse
- kompleksitet
- samsvar
- komponenter
- konsepter
- Bekymring
- konsis
- Konferanse
- bekreftelse
- Koble
- Konsoll
- konsulent
- innhold
- fortsette
- koordinere
- koordinerende
- Kostnader
- kunne
- Kurs
- skape
- opprettet
- Opprette
- avgjørende
- Gjeldende
- Nåværende situasjon
- Kunder
- tilpasse
- dato
- Dager
- avgjørelser
- dyp
- dyp læring
- utplassere
- utplassert
- utforming
- utpekt
- ønsket
- detaljert
- utvikle
- forskjellig
- diskutere
- diskusjoner
- distribueres
- ikke
- ned
- Tidligere
- Inntjening
- inntjening samtale
- lett
- lett
- emalje
- muliggjøre
- oppmuntre
- Endpoint
- England
- forbedre
- miljøer
- evaluere
- Selv
- eksempel
- eksisterende
- eksperiment
- utforske
- utforsket
- ekstra
- trekke ut
- fakta
- Fall
- familie
- Noen få
- filet
- filtrere
- slutt~~POS=TRUNC
- passer
- Fokus
- etter
- Til
- funnet
- Fundament
- fra
- fullt
- funksjon
- funksjoner
- framtid
- generere
- genererer
- genererer
- generasjonen
- generative
- Generativ AI
- få
- GitHub
- gitt
- størst
- Håndterer
- Ha
- he
- hjelpe
- her.
- høyt nivå
- høytytende
- hans
- TIMER
- Hvordan
- Hvordan
- Men
- HTML
- http
- HTTPS
- Ideer
- identifisere
- if
- illustrerer
- in
- dyptgående
- inkluderer
- informasjon
- innledende
- innsikt
- instant
- instruksjoner
- interesse
- intern
- intervjuer
- inn
- IT
- varer
- DET ER
- Jobb
- jpg
- bare
- nøkkel
- Labs
- ledende
- læring
- Forelesninger
- avlesninger
- Lar
- nivåer
- i likhet med
- Liste
- Lytting
- laste
- logikk
- lenger
- Se
- maskin
- laget
- gjøre
- GJØR AT
- fikk til
- manuelt
- Kan..
- Møt
- møte
- Meta
- modell
- modeller
- Moments
- Overvåke
- mer
- flyttet
- Filmer
- flytting
- må
- navn
- Natur
- Naviger
- nødvendig
- Trenger
- Ny
- neste
- Nei.
- note
- Merknader
- varsling
- varslinger
- nå
- mål
- of
- Tilbud
- ofte
- on
- Muligheter
- or
- orkestrert
- Annen
- vår
- ut
- produksjon
- utganger
- utenfor
- egen
- side
- parameter
- parametere
- del
- Utfør
- plato
- Platon Data Intelligence
- PlatonData
- poeng
- Post
- potensiell
- praksis
- presentert
- Principal
- prioritert
- prosess
- Prosessautomatisering
- Prosesser
- prosessering
- produsere
- profesjonell
- Progress
- prosjekt
- lovende
- forutsatt
- forsyning
- Når
- Lese
- motta
- mottatt
- mottak
- mottakere
- anerkjennelse
- innspilling
- referere
- regioner
- gjengivelse
- Repository
- anmode
- Krav
- Krever
- ressurs
- Ressurser
- gjennomgå
- Kjør
- salg
- samme
- Spar
- Skala
- scenarier
- Sekund
- sikkerhet
- se
- utvalg
- send
- senior
- sendt
- dømme
- server~~POS=TRUNC
- tjeneste
- Tjenester
- Session
- sett
- bør
- lignende
- Enkelt
- forenkle
- enkelt
- nettstedet
- situasjoner
- liten
- So
- løsning
- Solutions
- noen
- noe
- kilde
- spesifikk
- tale
- Talegjenkjenning
- tale-til-tekst
- Sponsorer
- Sprint
- Stabilitet
- stable
- Start
- Tilstand
- status
- Trinn
- Steps
- lagring
- butikker
- rett fram
- strategier
- Strategi
- slik
- oppsummere
- SAMMENDRAG
- Støttes
- sikker
- Takeaways
- Snakk
- Oppgave
- oppgaver
- lag
- lag
- Teknisk
- teknikker
- Technologies
- mal
- test
- tekst
- Det
- De
- Fremtiden
- Staten
- deres
- Dem
- deretter
- Der.
- Disse
- de
- ting
- denne
- Gjennom
- tid
- tidslinjer
- til
- topp
- Transcript
- Transform
- utløse
- utløst
- prøve
- underliggende
- til
- kommende
- Oppdater
- bruke
- bruk sak
- brukt
- ubrukelig
- Bruker
- Brukere
- bruker
- ved hjelp av
- gyldig
- verdi
- variasjon
- av
- video
- Se
- gå
- ønsker
- var
- Se
- se
- we
- web
- webtjenester
- når
- om
- hvilken
- HVEM
- vil
- med
- Arbeid
- arbeidsflyt
- arbeidsflyt
- arbeid
- virker
- ennå
- Du
- Din
- zephyrnet