Besprechungsnotizen sind ein wichtiger Bestandteil der Zusammenarbeit, fallen jedoch oft durch das Raster. Wenn man Diskussionen leitet, genau zuhört und Notizen schreibt, kann es leicht passieren, dass wichtige Informationen unbemerkt verloren gehen. Selbst wenn Notizen erfasst werden, können sie unorganisiert oder unleserlich sein und sie somit unbrauchbar machen.
In diesem Beitrag untersuchen wir die Verwendung Amazon Transcribe und Amazonas Grundgestein um automatisch saubere, prägnante Zusammenfassungen von Video- oder Audioaufnahmen zu erstellen. Ganz gleich, ob es sich um eine interne Teambesprechung, eine Konferenzsitzung oder eine Telefonkonferenz handelt, dieser Ansatz kann Ihnen dabei helfen, stundenlange Inhalte auf die wesentlichen Punkte zu reduzieren.
Wir gehen eine Lösung zur Transkription einer Projektteambesprechung durch und fassen die wichtigsten Erkenntnisse mit Amazon Bedrock zusammen. Wir besprechen auch, wie Sie diese Lösung für andere gängige Szenarien wie Kursvorlesungen, Interviews und Verkaufsgespräche anpassen können. Lesen Sie weiter, um Ihren Notizenprozess zu vereinfachen und zu automatisieren.
Lösungsüberblick
Durch die Kombination von Amazon Transcribe und Amazon Bedrock können Sie Zeit sparen, Erkenntnisse erfassen und die Zusammenarbeit verbessern. Amazon Transcribe ist ein automatischer Spracherkennungsdienst (ASR), der es einfach macht, Anwendungen um Sprach-zu-Text-Funktionen zu erweitern. Es nutzt fortschrittliche Deep-Learning-Technologien, um Audiodaten präzise in Text umzuwandeln. Amazon Bedrock ist ein vollständig verwalteter Dienst, der eine Auswahl leistungsstarker Basismodelle (FMs) von führenden KI-Unternehmen wie AI21 Labs, Anthropic, Cohere, Meta, Stability AI und Amazon mit einer einzigen API sowie einer breiten Palette von bietet Fähigkeiten, die Sie zum Erstellen generativer KI-Anwendungen benötigen. Mit Amazon Bedrock können Sie problemlos mit einer Vielzahl von Top-FMs experimentieren und diese mithilfe von Techniken wie Feinabstimmung und Retrieval Augmented Generation (RAG) privat an Ihre Daten anpassen.
Die in diesem Beitrag vorgestellte Lösung wird mithilfe von orchestriert AWS Step-Funktionen Zustandsmaschine, die ausgelöst wird, wenn Sie eine Aufnahme auf die angegebene Stelle hochladen Amazon Simple Storage-Service (Amazon S3) Eimer. Mit Step Functions können Sie serverlose Workflows erstellen, um Komponenten über AWS-Services hinweg zu orchestrieren und zu verbinden. Es bewältigt die zugrunde liegende Komplexität, sodass Sie sich auf die Anwendungslogik konzentrieren können. Es ist nützlich für die Koordinierung von Aufgaben, die verteilte Verarbeitung, ETL (Extrahieren, Transformieren und Laden) und die Automatisierung von Geschäftsprozessen.
Das folgende Diagramm veranschaulicht die übergeordnete Lösungsarchitektur.
Der Lösungsworkflow umfasst die folgenden Schritte:
- Ein Benutzer speichert eine Aufzeichnung im S3-Asset-Bucket.
- Diese Aktion löst die Transkriptions- und Zusammenfassungszustandsmaschine der Schrittfunktionen aus.
- Als Teil der Staatsmaschine ist ein AWS Lambda Die Funktion wird ausgelöst, die die Aufzeichnung mit Amazon Transcribe transkribiert und die Transkription im Asset-Bucket speichert.
- Eine zweite Lambda-Funktion ruft die Transkription ab und generiert mithilfe des Anthropic-Claude-Modells in Amazon Bedrock eine Zusammenfassung.
- Zuletzt wird eine letzte Lambda-Funktion verwendet Amazon Simple Notification Service (Amazon SNS), um eine Zusammenfassung der Aufzeichnung an den Empfänger zu senden.
Diese Lösung wird in Regionen unterstützt, in denen sich Anthropic Claude auf Amazon Bedrock befindet verfügbar.
Die Zustandsmaschine orchestriert die Schritte zur Ausführung der spezifischen Aufgaben. Das folgende Diagramm veranschaulicht den detaillierten Prozess.
Voraussetzungen:
Benutzer von Amazon Bedrock müssen Zugriff auf Modelle anfordern, bevor sie zur Nutzung verfügbar sind. Dies ist eine einmalige Aktion. Für diese Lösung müssen Sie den Zugriff auf das Anthropic Claude-Modell (nicht Anthropic Claude Instant) in Amazon Bedrock aktivieren. Weitere Informationen finden Sie unter Modellzugriff.
Stellen Sie Lösungsressourcen bereit
Die Lösung wird mithilfe eines bereitgestellt AWS CloudFormation Vorlage, gefunden auf der GitHub Repo, um die erforderlichen Ressourcen automatisch in Ihrem AWS-Konto bereitzustellen. Die Vorlage erfordert die folgenden Parameter:
- E-Mail-Adresse, die zum Senden der Zusammenfassung verwendet wird – Die Zusammenfassung wird an diese Adresse gesendet. Sie müssen die erste Amazon SNS-Bestätigungs-E-Mail bestätigen, bevor Sie weitere Benachrichtigungen erhalten.
- Zusammenfassende Anweisungen – Dies sind die Anweisungen, die dem Amazon Bedrock-Modell zum Generieren der Zusammenfassung gegeben werden.
Führen Sie die Lösung aus
Nachdem Sie die Lösung mit AWS CloudFormation bereitgestellt haben, führen Sie die folgenden Schritte aus:
- Bestätigen Sie die E-Mail-Bestätigung von Amazon SNS, die Sie wenige Augenblicke nach der Erstellung des CloudFormation-Stacks erhalten sollten.
- Navigieren Sie in der AWS CloudFormation-Konsole zu dem soeben erstellten Stack.
- Auf dem Stapel Ausgänge Klicken Sie auf die Registerkarte und suchen Sie nach dem zugehörigen Wert
AssetBucketName
; es wird ungefähr so aussehensummary-generator-assetbucket-xxxxxxxxxxxxx
. - Navigieren Sie in der Amazon S3-Konsole zu Ihrem Asset-Bucket.
Hier laden Sie Ihre Aufnahmen hoch. Gültige Dateiformate sind MP3, MP4, WAV, FLAC, AMR, OGG und WebM.
- Laden Sie Ihre Aufnahme hoch
recordings
-Ordner.
Durch das Hochladen von Aufzeichnungen wird automatisch die Step Functions-Zustandsmaschine ausgelöst. Für dieses Beispiel verwenden wir eine Beispielaufzeichnung einer Teambesprechung im sample-recording
Verzeichnis des GitHub-Repositorys.
- Navigieren Sie in der Step Functions-Konsole zum Summary-Generator-Zustandsautomaten.
- Wählen Sie den Namen des Zustandsmaschinenlaufs mit dem Status Laufen.
Hier können Sie den Fortschritt der Zustandsmaschine bei der Verarbeitung der Aufzeichnung verfolgen.
- Nachdem es seine erreicht hat Erfolge Geben Sie an, dass Sie per E-Mail eine Zusammenfassung der Aufzeichnung erhalten sollten.
Alternativ können Sie zum S3-Assets-Bucket navigieren und das Transkript dort im Ordner „Transkripte“ anzeigen.
Sehen Sie sich die Zusammenfassung an
Sie erhalten die Aufzeichnungszusammenfassung per E-Mail an die Adresse, die Sie beim Erstellen des CloudFormation-Stacks angegeben haben. Wenn Sie die E-Mail nicht innerhalb weniger Augenblicke erhalten, stellen Sie sicher, dass Sie die Amazon SNS-Bestätigungs-E-Mail bestätigt haben, die Sie nach der Erstellung des Stapels erhalten hätten, und laden Sie die Aufzeichnung dann erneut hoch, wodurch der Zusammenfassungsprozess ausgelöst wird.
Diese Lösung umfasst eine simulierte Aufzeichnung einer Teambesprechung, die Sie zum Testen der Lösung verwenden können. Die Zusammenfassung sieht ähnlich wie im folgenden Beispiel aus. Aufgrund der Natur der generativen KI sieht Ihre Ausgabe jedoch etwas anders aus, der Inhalt sollte jedoch ähnlich sein.
Hier sind die wichtigsten Punkte aus dem Standup:
- Joe hat die Überprüfung des aktuellen Status für Aufgabe EDU1 abgeschlossen und eine neue Aufgabe erstellt, um den zukünftigen Status zu entwickeln. Diese neue Aufgabe befindet sich im Backlog und muss priorisiert werden. Er startet jetzt EDU2, ist aber bei der Ressourcenauswahl blockiert.
- Rob hat eine Tagging-Strategie für SLG1 basierend auf Best Practices erstellt, muss sich jedoch möglicherweise mit anderen Teams abstimmen, die ihre eigenen Strategien entwickelt haben, um einen einheitlichen Ansatz zu erreichen. Zur Koordinierung der Tagging-Strategien wurde eine neue Aufgabe erstellt.
- Rob hat beim Debuggen für SLG2 Fortschritte gemacht, benötigt jedoch möglicherweise zusätzliche Hilfe. Diese Aufgabe wird in Sprint 2 verschoben, um Zeit für die Beschaffung zusätzlicher Ressourcen zu haben.
Nächste Schritte:
- Joe wird so lange an EDU2 weiterarbeiten, bis über die Ressourcenauswahl entschieden ist
- Neue Aufgabe, die priorisiert werden muss, um Tagging-Strategien teamübergreifend zu koordinieren
- SLG2 wechselte zu Sprint 2
- Standups werden ab nächster Woche auf Montag verlegt
Erweitern Sie die Lösung
Nachdem Sie nun eine funktionierende Lösung haben, finden Sie hier einige mögliche Ideen, wie Sie die Lösung an Ihre spezifischen Anwendungsfälle anpassen können:
- Versuchen Sie, den Prozess so zu ändern, dass er zu Ihrem verfügbaren Quellinhalt und den gewünschten Ergebnissen passt:
- Für Situationen, in denen Transkripte verfügbar sind, erstellen Sie einen alternativen Step Functions-Workflow, um vorhandene textbasierte oder PDF-basierte Transkripte aufzunehmen.
- Anstatt Amazon SNS zu verwenden, um Empfänger per E-Mail zu benachrichtigen, können Sie es verwenden, um die Ausgabe an einen anderen Endpunkt zu senden, beispielsweise an eine Team-Zusammenarbeitsseite oder an den Chat-Kanal des Teams.
- Versuchen Sie, den für Amazon Bedrock bereitgestellten CloudFormation-Stack-Parameter für zusammenfassende Anweisungen zu ändern, um spezifische Ausgaben für Ihren Anwendungsfall zu erzeugen (dies ist die generative KI-Eingabeaufforderung):
- Wenn Sie die Gewinnmitteilung eines Unternehmens zusammenfassen, können Sie das Modell auf potenzielle vielversprechende Chancen, Problembereiche und Dinge konzentrieren, die Sie weiterhin im Auge behalten sollten.
- Wenn Sie dies verwenden, um eine Kursvorlesung zusammenzufassen, kann das Modell anstehende Aufgaben identifizieren, Schlüsselkonzepte zusammenfassen, Fakten auflisten und jeglichen Smalltalk aus der Aufzeichnung herausfiltern.
- Erstellen Sie für dieselbe Aufnahme unterschiedliche Zusammenfassungen für unterschiedliche Zielgruppen:
- Die Zusammenfassungen der Ingenieure konzentrieren sich auf Designentscheidungen, technische Herausforderungen und bevorstehende Ergebnisse.
- Die Zusammenfassungen der Projektmanager konzentrieren sich auf Zeitpläne, Kosten, Ergebnisse und Aktionspunkte.
- Projektsponsoren erhalten ein kurzes Update zum Projektstatus und zu Eskalationen.
- Versuchen Sie bei längeren Aufnahmen, Zusammenfassungen für unterschiedliche Interessen und Zeitaufwand zu erstellen. Erstellen Sie beispielsweise einen einzelnen Satz, einen einzelnen Absatz, eine einzelne Seite oder eine ausführliche Zusammenfassung. Zusätzlich zur Eingabeaufforderung möchten Sie möglicherweise die anpassen
max_tokens_to_sample
Parameter, um unterschiedliche Inhaltslängen zu berücksichtigen.
Aufräumen
Um die Lösung zu bereinigen, löschen Sie den CloudFormation-Stack, den Sie zuvor erstellt haben. Beachten Sie, dass durch das Löschen des Stapels nicht der Asset-Bucket gelöscht wird. Wenn Sie die Aufzeichnungen oder Transkripte nicht mehr benötigen, können Sie diesen Bucket separat löschen. Amazon Transcribe löscht Transkriptionsaufträge automatisch nach 90 Tagen, Sie können diese jedoch auch vorher manuell löschen.
Zusammenfassung
In diesem Beitrag haben wir untersucht, wie Sie mit Amazon Transcribe und Amazon Bedrock automatisch klare, prägnante Zusammenfassungen von Video- oder Audioaufnahmen erstellen können. Wir empfehlen Ihnen, weiterhin Amazon Bedrock, Amazon Transcribe und andere AWS-KI-Dienste zu evaluieren Amazontext, Amazon Übersetzen und Amazon-Anerkennung, um zu sehen, wie sie Ihnen beim Erreichen Ihrer Geschäftsziele helfen können.
Über die Autoren
Rob Barnes ist Hauptberater für AWS Professional Services. Er arbeitet mit unseren Kunden zusammen, um Sicherheits- und Compliance-Anforderungen in komplexen AWS-Umgebungen mit mehreren Konten durch Automatisierung in großem Maßstab zu erfüllen.
Jason Stehle ist Senior Solutions Architect bei AWS mit Sitz in der Region New England. Er arbeitet mit Kunden zusammen, um die AWS-Funktionen an ihre größten geschäftlichen Herausforderungen anzupassen. Außerhalb der Arbeit verbringt er seine Zeit damit, Dinge zu bauen und mit seiner Familie Comic-Filme anzusehen.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/create-summaries-of-recordings-using-generative-ai-with-amazon-bedrock-and-amazon-transcribe/
- :hast
- :Ist
- :nicht
- :Wo
- $UP
- 100
- 7
- 8
- a
- Fähig
- Zugang
- unterbringen
- Konto
- genau
- anerkennen
- anerkannt
- über
- Action
- hinzufügen
- Zusatz
- Zusätzliche
- Adresse
- advanced
- Nach der
- aufs Neue
- AI
- KI-Dienste
- ausrichten
- erlauben
- entlang
- ebenfalls
- Amazon
- Amazon Transcribe
- Amazon Web Services
- an
- und
- Anthropisch
- jedem
- Bienen
- Anwendung
- Anwendungen
- Ansatz
- Architektur
- SIND
- Bereich
- Bereiche
- AS
- Vermögenswert
- Details
- damit verbundenen
- At
- Publikum
- Audio-
- Augmented
- automatisieren
- automatische
- Im Prinzip so, wie Sie es von Google Maps kennen.
- Automation
- verfügbar
- ein Weg
- AWS
- AWS CloudFormation
- Professionelle AWS-Services
- basierend
- BE
- weil
- Bevor
- BESTE
- Best Practices
- zwischen
- Bit
- verstopft
- buchen
- breit
- bauen
- Building
- Geschäft
- Business Process
- aber
- rufen Sie uns an!
- Aufrufe
- CAN
- Fähigkeiten
- capability
- Erfassung
- gefangen
- Häuser
- Fälle
- Herausforderungen
- Ändern
- Kanal
- Wahl
- reinigen
- Menu
- eng
- Zusammenarbeit
- Vereinigung
- Engagement
- gemeinsam
- Unternehmen
- Unternehmen
- abschließen
- Komplex
- Komplexität
- Compliance
- Komponenten
- Konzepte
- Hautpflegeprobleme
- prägnant
- Konferenz
- Bestätigung
- Vernetz Dich
- Konsul (Console)
- Berater
- Inhalt
- fortsetzen
- Koordinate
- koordinieren
- Kosten
- könnte
- Kurs
- erstellen
- erstellt
- Erstellen
- wichtig
- Strom
- Aktuellen Zustand
- Kunden
- anpassen
- technische Daten
- Tage
- Entscheidungen
- tief
- tiefe Lernen
- einsetzen
- Einsatz
- Design
- bezeichnet
- erwünscht
- detailliert
- entwickeln
- anders
- diskutieren
- Diskussionen
- verteilt
- Nicht
- nach unten
- Früher
- Verdienste
- Ergebnis nennen
- leicht
- Einfache
- ermöglichen
- ermutigen
- Endpunkt
- England
- zu steigern,
- Umgebungen
- Auswerten
- Sogar
- Beispiel
- vorhandenen
- Experiment
- ERKUNDEN
- Erkundet
- extra
- Extrakt
- Fakten
- Fallen
- Familie
- wenige
- Reichen Sie das
- Filter
- Finale
- passen
- Setzen Sie mit Achtsamkeit
- Folgende
- Aussichten für
- gefunden
- Foundation
- für
- voll
- Funktion
- Funktionen
- Zukunft
- erzeugen
- erzeugt
- Erzeugung
- Generation
- generativ
- Generative KI
- bekommen
- GitHub
- gegeben
- größte
- Griffe
- Haben
- he
- Hilfe
- hier
- High-Level
- leistungsstark
- seine
- STUNDEN
- Ultraschall
- Hilfe
- aber
- HTML
- http
- HTTPS
- Ideen
- identifizieren
- if
- zeigt
- in
- eingehende
- Dazu gehören
- Information
- Anfangs-
- Einblicke
- sofortig
- Anleitung
- Interesse
- intern
- Interviews
- in
- IT
- Artikel
- SEINE
- Jobs
- jpg
- nur
- Wesentliche
- Labs
- führenden
- lernen
- Lesen
- Lesungen
- Lasst uns
- Cholesterinspiegel
- Gefällt mir
- Liste
- Hören
- Belastung
- Logik
- länger
- aussehen
- Maschine
- gemacht
- um
- MACHT
- verwaltet
- manuell
- Kann..
- Triff
- Treffen
- Meta
- Modell
- für
- Moments
- Überwachen
- mehr
- gerührt
- Filme
- ziehen um
- sollen
- Name
- Natur
- Navigieren
- notwendig,
- Need
- Neu
- weiter
- nicht
- beachten
- Notizen
- Benachrichtigung
- Benachrichtigungen
- jetzt an
- of
- Angebote
- vorgenommen,
- on
- Entwicklungsmöglichkeiten
- or
- orchestriert
- Andere
- UNSERE
- Möglichkeiten für das Ausgangssignal:
- Ausgänge
- aussen
- besitzen
- Seite
- Parameter
- Parameter
- Teil
- Ausführen
- Plato
- Datenintelligenz von Plato
- PlatoData
- Punkte
- Post
- Potenzial
- Praktiken
- vorgeführt
- Principal
- priorisiert
- Prozessdefinierung
- Automatisierung von Prozessen
- anpassen
- Verarbeitung
- produziert
- Professionell
- Fortschritt
- Projekt
- aussichtsreich
- vorausgesetzt
- Bereitstellung
- Erreicht
- Lesen Sie mehr
- erhalten
- Received
- Empfang
- Empfänger
- Anerkennung
- Einspielung vor
- siehe
- Regionen
- Rendering
- Quelle
- Anforderung
- Voraussetzungen:
- erfordert
- Ressourcen
- Downloads
- Überprüfung
- Führen Sie
- Vertrieb
- gleich
- Speichern
- Skalieren
- Szenarien
- Zweite
- Sicherheitdienst
- sehen
- Auswahl
- senden
- Senior
- geschickt
- Satz
- Serverlos
- Lösungen
- Sitzung
- kompensieren
- sollte
- ähnlich
- Einfacher
- vereinfachen
- Single
- am Standort
- Umstände
- klein
- So
- Lösung
- Lösungen
- einige
- etwas
- Quelle
- spezifisch
- Rede
- Spracherkennung
- Speech-to-Text
- Sponsoren
- Sprint
- Stabilität
- Stapel
- Beginnen Sie
- Bundesstaat
- Status
- Schritt
- Shritte
- Lagerung
- Läden
- einfach
- Strategien
- Strategie
- so
- zusammenfassen
- ZUSAMMENFASSUNG
- Unterstützte
- sicher
- Takeaways
- Reden
- Aufgabe
- und Aufgaben
- Team
- Teams
- Technische
- Techniken
- Technologies
- Vorlage
- Test
- Text
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- Die Zukunft
- Der Staat
- ihr
- Sie
- dann
- Dort.
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- Durch
- Zeit
- Zeitleisten
- zu
- Top
- Abschrift
- Transformieren
- auslösen
- ausgelöst
- versuchen
- zugrunde liegen,
- bis
- anstehende
- Aktualisierung
- -
- Anwendungsfall
- benutzt
- nutzlos
- Mitglied
- Nutzer
- verwendet
- Verwendung von
- gültig
- Wert
- Vielfalt
- Video
- Anzeigen
- Spaziergang
- wollen
- wurde
- Ansehen
- beobachten
- we
- Netz
- Web-Services
- wann
- ob
- welche
- WHO
- werden wir
- mit
- Arbeiten
- Arbeitsablauf.
- Workflows
- arbeiten,
- Werk
- noch
- Du
- Ihr
- Zephyrnet