Dieser Blogbeitrag wurde gemeinsam mit Chaoyang He und Salman Avestimehr von FedML verfasst.
Die Analyse von Daten aus dem Gesundheitswesen und den Biowissenschaften (HCLS) aus der realen Welt birgt mehrere praktische Herausforderungen, wie z ein zentrales Datenarchiv. Da sie sich in einem stark regulierten Bereich befinden, suchen HCLS-Partner und -Kunden nach Mechanismen zum Schutz der Privatsphäre, um große, verteilte und sensible Daten zu verwalten und zu analysieren.
Um diese Herausforderungen zu mindern, schlagen wir vor, ein Open-Source-Framework für föderiertes Lernen (FL) namens FedML, mit dem Sie vertrauliche HCLS-Daten analysieren können, indem Sie ein globales maschinelles Lernmodell aus verteilten Daten trainieren, die lokal an verschiedenen Standorten gespeichert sind. FL erfordert während des Modelltrainingsprozesses keine Verschiebung oder gemeinsame Nutzung von Daten zwischen Standorten oder mit einem zentralen Server.
In dieser zweiteiligen Serie demonstrieren wir, wie Sie ein Cloud-basiertes FL-Framework auf AWS bereitstellen können. Im ersten Beitrag haben wir FL-Konzepte und das FedML-Framework beschrieben. Im zweiter Beitragstellen wir die Anwendungsfälle und den Datensatz vor, um seine Wirksamkeit bei der Analyse realer Gesundheitsdatensätze, wie z eICU-Daten, die eine multizentrische Intensivpflegedatenbank umfasst, die aus über 200 Krankenhäusern gesammelt wurde.
Hintergrund
Obwohl das Volumen der HCLS-generierten Daten nie größer war, schränken die Herausforderungen und Einschränkungen, die mit dem Zugriff auf solche Daten verbunden sind, ihre Nützlichkeit für die zukünftige Forschung ein. Maschinelles Lernen (ML) bietet eine Möglichkeit, einige dieser Bedenken auszuräumen, und wird eingesetzt, um die Datenanalyse voranzutreiben und aus verschiedenen HCLS-Daten aussagekräftige Erkenntnisse für Anwendungsfälle wie Pflege, klinische Entscheidungsunterstützung, Präzisionsmedizin, Triage und Diagnose sowie chronische Patienten abzuleiten Pflege-Management. Da ML-Algorithmen oft nicht ausreichen, um die Privatsphäre von Patientendaten zu schützen, besteht ein wachsendes Interesse bei HCLS-Partnern und -Kunden, Mechanismen und Infrastrukturen zum Schutz der Privatsphäre für die Verwaltung und Analyse großer, verteilter und sensibler Daten zu verwenden. [1]
Wir haben auf AWS ein FL-Framework entwickelt, das es ermöglicht, verteilte und sensible Gesundheitsdaten unter Wahrung der Privatsphäre zu analysieren. Es beinhaltet das Trainieren eines gemeinsam genutzten ML-Modells, ohne Daten während des Modelltrainingsprozesses zwischen Standorten oder mit einem zentralen Server zu verschieben oder zu teilen, und kann über mehrere AWS-Konten hinweg implementiert werden. Die Teilnehmer können ihre Daten entweder in ihren lokalen Systemen oder in einem von ihnen kontrollierten AWS-Konto verwalten. Daher bringt es Analysen zu Daten, anstatt Daten in Analysen zu verschieben.
In diesem Beitrag haben wir gezeigt, wie Sie das Open-Source-FedML-Framework auf AWS bereitstellen können. Wir testen das Framework anhand von eICU-Daten, einer multizentrischen Intensivdatenbank, die aus über 200 Krankenhäusern gesammelt wurde, um die Sterblichkeit von Patienten im Krankenhaus vorherzusagen. Wir können dieses FL-Framework verwenden, um andere Datensätze zu analysieren, einschließlich genomischer und biowissenschaftlicher Daten. Es kann auch von anderen Bereichen übernommen werden, in denen es viele verteilte und sensible Daten gibt, einschließlich des Finanz- und Bildungssektors.
Föderiertes Lernen
Technologische Fortschritte haben zu einem explosionsartigen Datenwachstum in allen Branchen geführt, einschließlich HCLS. HCLS-Organisationen speichern Daten oft in Silos. Dies stellt eine große Herausforderung für das datengesteuerte Lernen dar, das große Datensätze erfordert, um gut zu verallgemeinern und das gewünschte Leistungsniveau zu erreichen. Darüber hinaus sind das Sammeln, Kuratieren und Pflegen hochwertiger Datensätze mit erheblichem Zeit- und Kostenaufwand verbunden.
Federated Learning mindert diese Herausforderungen durch gemeinsames Training von ML-Modellen, die verteilte Daten verwenden, ohne dass diese gemeinsam genutzt oder zentralisiert werden müssen. Es ermöglicht die Darstellung verschiedener Standorte innerhalb des endgültigen Modells, wodurch das potenzielle Risiko einer standortbasierten Verzerrung verringert wird. Das Framework folgt einer Client-Server-Architektur, bei der der Server ein globales Modell mit den Clients teilt. Die Clients trainieren das Modell basierend auf lokalen Daten und teilen Parameter (wie Gradienten oder Modellgewichte) mit dem Server. Der Server aggregiert diese Parameter, um das globale Modell zu aktualisieren, das dann mit den Clients für die nächste Trainingsrunde geteilt wird, wie in der folgenden Abbildung gezeigt. Dieser iterative Prozess des Modelltrainings wird fortgesetzt, bis das globale Modell konvergiert.
In den letzten Jahren wurde dieses neue Lernparadigma erfolgreich eingeführt, um das Problem der Datenverwaltung beim Training von ML-Modellen anzugehen. Eine solche Anstrengung ist MELLODDISCH, ein Konsortium unter Führung der Innovative Medicines Initiative (IMI), das von AWS betrieben wird. Es handelt sich um ein 3-Jahres-Programm, an dem 10 Pharmaunternehmen, 2 akademische Einrichtungen und 3 Technologiepartner beteiligt sind. Sein Hauptziel ist die Entwicklung eines Multitask-FL-Frameworks zur Verbesserung der Vorhersageleistung und chemischen Anwendbarkeit von Medikamentenforschungs-basierten Modellen. Die Plattform umfasst mehrere AWS-Konten, wobei jeder Pharmapartner die volle Kontrolle über seine jeweiligen Konten behält, um seine privaten Datensätze zu verwalten, und ein zentrales ML-Konto, das die Modellschulungsaufgaben koordiniert.
Das Konsortium trainierte Modelle auf Milliarden von Datenpunkten, die aus über 20 Millionen kleinen Molekülen in über 40,000 biologischen Assays bestehen. Basierend auf experimentellen Ergebnissen zeigten die kollaborativen Modelle eine Verbesserung von 4 % bei der Kategorisierung von Molekülen als entweder pharmakologisch oder toxikologisch aktiv oder inaktiv. Es führte auch zu einer 10%igen Steigerung seiner Fähigkeit, verlässliche Vorhersagen zu liefern, wenn es auf neue Arten von Molekülen angewendet wird. Schließlich waren die kollaborativen Modelle typischerweise 2 % besser bei der Schätzung der Werte toxikologischer und pharmakologischer Aktivitäten.
FedML
FedML ist eine Open-Source-Bibliothek zur Erleichterung der Entwicklung von FL-Algorithmen. Es unterstützt drei Computing-Paradigmen: On-Device-Training für Edge-Geräte, Distributed Computing und Single-Machine-Simulation. Es bietet auch vielfältige algorithmische Forschung mit flexiblem und generischem API-Design und umfassenden Referenz-Baseline-Implementierungen (Optimierer, Modelle und Datensätze). Eine detaillierte Beschreibung der FedML-Bibliothek finden Sie unter FedML.
Die folgende Abbildung zeigt die Open-Source-Bibliotheksarchitektur von FedML.
Wie in der vorherigen Abbildung zu sehen ist, schirmt FedML aus Anwendungssicht Details des zugrunde liegenden Codes und komplexe Konfigurationen des verteilten Trainings ab. Auf der Anwendungsebene, wie z. B. Computer Vision, Verarbeitung natürlicher Sprache und Data Mining, müssen Data Scientists und Ingenieure nur das Modell, die Daten und den Trainer auf die gleiche Weise wie ein eigenständiges Programm schreiben und dann an das FedMLRunner-Objekt übergeben Schließen Sie alle Prozesse ab, wie im folgenden Code gezeigt. Dadurch wird der Overhead für Anwendungsentwickler zum Ausführen von FL erheblich reduziert.
Der FedML-Algorithmus ist noch in Arbeit und wird ständig verbessert. Zu diesem Zweck abstrahiert FedML den Core Trainer und Aggregator und stellt Benutzern zwei abstrakte Objekte zur Verfügung, FedML.core.ClientTrainer
und FedML.core.ServerAggregator
, die nur die Schnittstellen dieser beiden abstrakten Objekte erben und an FedMLRunner übergeben müssen. Eine solche Anpassung bietet ML-Entwicklern maximale Flexibilität. Sie können beliebige Modellstrukturen, Optimierer, Verlustfunktionen und mehr definieren. Diese Anpassungen können mit Hilfe von FedMLRunner auch nahtlos mit der bereits erwähnten Open-Source-Community, offenen Plattform und Anwendungsökologie verbunden werden, wodurch das Problem der langen Verzögerung von innovativen Algorithmen bis zur Kommerzialisierung vollständig gelöst wird.
Schließlich unterstützt FedML, wie in der vorherigen Abbildung gezeigt, verteilte Rechenprozesse wie komplexe Sicherheitsprotokolle und verteiltes Training als DAG-Flow-Computing-Prozess (Directed Acyclic Graph), wodurch das Schreiben komplexer Protokolle eigenständigen Programmen ähnelt. Basierend auf dieser Idee können das Sicherheitsprotokoll Flow Layer 1 und der ML-Algorithmusprozess Flow Layer 2 einfach getrennt werden, sodass Sicherheitsingenieure und ML-Ingenieure unter Beibehaltung einer modularen Architektur arbeiten können.
Die Open-Source-Bibliothek FedML unterstützt föderierte ML-Anwendungsfälle für Edge und Cloud. Am Rand erleichtert das Framework das Training und die Bereitstellung von Edge-Modellen auf Mobiltelefonen und Geräten des Internets der Dinge (IoT). In der Cloud ermöglicht es globales kollaboratives ML, einschließlich öffentlicher Cloud-Aggregationsserver mit mehreren Regionen und mehreren Mandanten, sowie die Bereitstellung privater Clouds im Docker-Modus. Das Rahmenwerk befasst sich mit zentralen Bedenken in Bezug auf die Wahrung der Privatsphäre von FL wie Sicherheit, Datenschutz, Effizienz, schwache Aufsicht und Fairness.
Zusammenfassung
In diesem Beitrag haben wir gezeigt, wie Sie das Open-Source-FedML-Framework auf AWS bereitstellen können. Auf diese Weise können Sie ein ML-Modell mit verteilten Daten trainieren, ohne es freigeben oder verschieben zu müssen. Wir haben eine Multi-Account-Architektur eingerichtet, in der Organisationen in einem realen Szenario dem Ökosystem beitreten können, um von kollaborativem Lernen zu profitieren und gleichzeitig die Datenverwaltung aufrechtzuerhalten. Im nächsten Postverwenden wir den eICU-Datensatz mehrerer Krankenhäuser, um seine Wirksamkeit in einem realen Szenario zu demonstrieren.
Bitte sehen Sie sich die Präsentation auf der re:MARS 2022 mit dem Schwerpunkt „Managed Federated Learning auf AWS: Eine Fallstudie für das Gesundheitswesen” für eine detaillierte exemplarische Vorgehensweise dieser Lösung.
Referenz
[1] Kaissis, GA, Makowski, MR, Rückert, D. et al. Sicheres, die Privatsphäre wahrendes und föderiertes maschinelles Lernen in der medizinischen Bildgebung. Nat Mach Intell 2, 305–311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
Über die Autoren
Olivia Choudhury, PhD, ist Senior Partner Solutions Architect bei AWS. Sie unterstützt Partner im Bereich Gesundheitswesen und Biowissenschaften beim Design, der Entwicklung und Skalierung von hochmodernen Lösungen, die AWS nutzen. Sie hat einen Hintergrund in Genomik, Gesundheitsanalytik, föderiertem Lernen und maschinellem Lernen unter Wahrung der Privatsphäre. Außerhalb der Arbeit spielt sie Brettspiele, malt Landschaften und sammelt Mangas.
Vidya Sagar Ravipati ist Manager bei der Amazon ML-LösungslaborHier nutzt er seine langjährige Erfahrung mit verteilten Großsystemen und seine Leidenschaft für maschinelles Lernen, um AWS-Kunden in verschiedenen Branchen dabei zu helfen, ihre KI- und Cloud-Akzeptanz zu beschleunigen. Zuvor war er ein Ingenieur für maschinelles Lernen in Connectivity Services bei Amazon, der beim Aufbau von Plattformen für Personalisierung und vorausschauende Wartung half.
Wajahat Aziz ist Principal Machine Learning and HPC Solutions Architect bei AWS, wo er sich darauf konzentriert, Kunden aus dem Gesundheitswesen und den Biowissenschaften dabei zu helfen, AWS-Technologien für die Entwicklung modernster ML- und HPC-Lösungen für eine Vielzahl von Anwendungsfällen wie Arzneimittelentwicklung zu nutzen. Klinische Studien und maschinelles Lernen zum Schutz der Privatsphäre. Außerhalb der Arbeit erkundet Wajahat gerne die Natur, wandert und liest.
Divya Bhargavi ist Data Scientist und Media and Entertainment Vertical Lead im Amazon ML Solutions Lab, wo sie hochwertige Geschäftsprobleme für AWS-Kunden mithilfe von maschinellem Lernen löst. Sie arbeitet an Bild-/Videoverständnis, Empfehlungssystemen für Wissensgraphen und prädiktiven Werbeanwendungsfällen.
Ujjwal Ratan ist Leiter für AI/ML und Data Science in der AWS Healthcare and Life Science Business Unit und außerdem Principal AI/ML Solutions Architect. Im Laufe der Jahre war Ujjwal ein Vordenker in der Gesundheits- und Biowissenschaftsbranche und half mehreren Global Fortune 500-Unternehmen, ihre Innovationsziele durch die Einführung von maschinellem Lernen zu erreichen. Seine Arbeit, die die Analyse medizinischer Bildgebung, unstrukturierter klinischer Texte und Genomik umfasst, hat AWS geholfen, Produkte und Dienstleistungen zu entwickeln, die hochgradig personalisierte und präzise zielgerichtete Diagnostik und Therapien bieten. In seiner Freizeit hört (und spielt) er gerne Musik und unternimmt ungeplante Ausflüge mit seiner Familie.
Chaoyang Er ist Mitbegründer und CTO von FedML, Inc., einem Startup, das sich für eine Community einsetzt, die offene und kollaborative KI von überall und in jeder Größenordnung aufbaut. Seine Forschung konzentriert sich auf verteilte/föderierte maschinelle Lernalgorithmen, -systeme und -anwendungen. Er erhielt seinen Ph.D. in Informatik von der University of Southern California, Los Angeles, USA.
Salman Avestimehr ist Professor, Gründungsdirektor des USC-Amazon Center for Secure and Trusted Machine Learning (Trusted AI) und Direktor des Forschungslabors für Informationstheorie und maschinelles Lernen (vITAL) an der Fakultät für Elektrotechnik und Computertechnik und der Fakultät für Informatik Universität von Südkalifornien. Er ist auch Mitbegründer und CEO von FedML. Er erhielt meinen Ph.D. in Elektrotechnik und Informatik von der UC Berkeley im Jahr 2008. Seine Forschung konzentriert sich auf die Bereiche Informationstheorie, dezentralisiertes und föderiertes maschinelles Lernen, sicheres und die Privatsphäre wahrendes Lernen und Computing.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- Fähigkeit
- ABSTRACT
- Abstracts
- akademisch
- beschleunigen
- Zugriff
- Konto
- Trading Konten
- Erreichen
- über
- aktiv
- Aktivitäten
- azyklisch
- Adresse
- Adressen
- angenommen
- Die Annahme
- Adoption
- vorantreiben
- Marketings
- Aggregate
- Anhäufung
- Aggregator
- AI
- AI / ML
- Algorithmus
- algorithmisch
- Algorithmen
- Alle
- erlaubt
- Amazon
- Amazon ML-Lösungslabor
- unter
- Analyse
- Analytik
- analysieren
- Analyse
- und
- und Infrastruktur
- Angeles
- von jedem Standort
- Bienen
- Anwendung
- Anwendungen
- angewandt
- Architektur
- Bereiche
- damit verbundenen
- AWS
- Hintergrund
- basierend
- Baseline
- weil
- Sein
- Nutzen
- Berkeley
- Besser
- vorspannen
- Milliarden
- Blog
- Tafel
- Brettspiele
- Brings
- bauen
- Building
- Geschäft
- Kalifornien
- namens
- österreichische Unternehmen
- Häuser
- Fallstudie
- Fälle
- Kategorisieren
- Center
- Hauptgeschäftsstelle
- zentralisierte
- CEO
- challenges
- Herausforderungen
- chemisch
- Auswählen
- Kunden
- Klinische
- klinische Versuche
- Cloud
- Cloud-Einführung
- Co-Gründer
- Code
- kollaborative
- Vermarktung
- community
- Gemeinschaftshaus
- Unternehmen
- abschließen
- uneingeschränkt
- Komplex
- umfassend
- Computer
- Informationstechnik
- Computerwissenschaften
- Computer Vision
- Computing
- Konzepte
- Hautpflegeprobleme
- Bedenken
- zuversichtlich
- Sie
- Konnektivität
- Bestehend
- Konsortium
- ständig
- Einschränkungen
- weiter
- Smartgeräte App
- koordinieren
- Kernbereich
- Kosten
- Erstellen
- kritischem
- CTO
- kuratieren
- Kunden
- Anpassung
- TAG
- technische Daten
- Datenanalyse
- Data Mining
- Datenpunkte
- Datenwissenschaft
- Datenwissenschaftler
- Datenübertragung
- datengesteuerte
- Datenbase
- Datensätze
- dezentralisiert
- Entscheidung
- Lieferanten
- zeigen
- weisen nach, dass
- Abteilung
- einsetzen
- Einsatz
- beschrieben
- Beschreibung
- Design
- detailliert
- Details
- entwickeln
- entwickelt
- Entwickler
- Entwicklung
- Entwicklung
- Gerät
- Geräte
- anders
- Direktor
- verteilt
- Verteiltes rechnen
- verteilte Systeme
- verteiltes Training
- verschieden
- Docker
- Tut nicht
- Domain
- Domains
- Medikament
- im
- jeder
- Früher
- leicht
- Ökosystem
- Edge
- Bildungswesen
- Wirksamkeit
- Effizienz
- Anstrengung
- entweder
- ermöglicht
- Ingenieur
- Entwicklung
- Ingenieure
- Unterhaltung
- Veranstaltungen
- ERFAHRUNGEN
- ERKUNDEN
- erleichtern
- erleichtert
- Fairness
- Familie
- Abbildung
- Finale
- Endlich
- Finanzen
- Vorname
- Flexibilität
- flexibel
- Fluss
- konzentriert
- konzentriert
- Folgende
- folgt
- Vermögen
- Unser Ansatz
- Frei
- für
- voller
- Funktionen
- Zukunft
- Games
- Sammlung
- Genomik
- Global
- Kundenziele
- Ziele
- Governance
- Steigungen
- Graph
- mehr
- sehr
- persönlichem Wachstum
- Wachstum
- Richtlinien
- Gesundheit
- Gesundheitswesen
- Statt
- Hilfe
- dazu beigetragen,
- Unternehmen
- hilft
- hochwertige
- hoch
- Krankenhäuser
- Ultraschall
- hpc
- HTTPS
- Idee
- Imaging
- umgesetzt
- importieren
- zu unterstützen,
- verbessert
- Verbesserung
- in
- inaktiv
- Eröffnungsfeier
- Inc.
- Einschließlich
- Erhöhung
- Branchen
- Energiegewinnung
- Information
- Infrastruktur
- Initiative
- Innovation
- innovativ
- Einblicke
- Institutionen
- Interesse
- Schnittstellen
- Internet
- Internet der Dinge
- iot
- IT
- join
- Wesentliche
- Wissen
- Wissen Graph
- Labor
- Mangel
- Sprache
- grosse
- großflächig
- Schicht
- Ebene 1
- Ebene 2
- führen
- Führer
- lernen
- geführt
- Niveau
- Hebelwirkung
- Hebelwirkungen
- Nutzung
- Bibliothek
- Lebensdauer
- Life Science
- Biowissenschaften
- Grenzen
- Hören
- Belastung
- aus einer regionalen
- örtlich
- Lang
- die
- Los Angeles
- Verlust
- Maschine
- Maschinelles Lernen
- halten
- Wartung
- Dur
- Making
- verwalten
- Management
- Manager
- flächendeckende Gesundheitsprogramme
- Weise
- März
- maximal
- sinnvoll
- Medien
- sowie medizinische
- Medizin
- erwähnt
- Million
- Bergbau
- MIT
- Mildern
- ML
- Mobil
- Mobiltelefone
- Model
- Modell
- für
- modulare
- mehr
- schlauer bewegen
- ziehen um
- mehrere
- Musik
- Natürliche
- Verarbeitung natürlicher Sprache
- Natur
- Need
- Neu
- weiter
- Objekt
- Objekte
- Angebote
- EINEM
- XNUMXh geöffnet
- Open-Source-
- betreiben
- Gelegenheit
- Organisationen
- Andere
- aussen
- Paradigma
- Parameter
- Teil
- Teilnehmer
- Partner
- Leidenschaft & KREATIVITÄT
- Vertrauen bei Patienten
- Ausführen
- Leistung
- Personalisierung
- Personalisiert
- Pharma
- Biowissenschaften
- Telefone
- Plattform
- Plattformen
- Plato
- Datenintelligenz von Plato
- PlatoData
- spielend
- Points
- Perspektive
- Punkte
- Posen
- Post
- Potenzial
- angetriebene
- Praktisch
- genau
- Präzision
- vorhersagen
- Prognosen
- Gegenwart
- presentation
- Geschenke
- vorher
- primär
- Principal
- Datenschutz
- privat
- Aufgabenstellung:
- Probleme
- Prozessdefinierung
- anpassen
- Verarbeitung
- Produkte
- Professor
- Programm
- Programme
- Fortschritt
- bietet
- Schutz
- Protokoll
- Protokolle
- die
- bietet
- Öffentlichkeit
- Public Cloud
- RARE
- RE
- Lesebrillen
- realen Welt
- Received
- kürzlich
- Software Empfehlungen
- reduziert
- Reduzierung
- Grüße
- geregelt
- Regulierungsbehörden
- Quelle
- vertreten
- erfordern
- Anforderung
- erfordert
- Forschungsprojekte
- diejenigen
- Die Ergebnisse
- Halte
- Überprüfen
- Risiko
- Straße
- rund
- Laufen
- gleich
- Skalieren
- Wissenschaft
- WISSENSCHAFTEN
- Wissenschaftler
- Wissenschaftler
- nahtlos
- Sektoren
- Verbindung
- Sicherheitdienst
- Suchen
- Senior
- empfindlich
- Modellreihe
- Fertige Server
- Leistungen
- kompensieren
- mehrere
- Teilen
- von Locals geführtes
- Shares
- ,,teilen"
- erklären
- gezeigt
- signifikant
- ähnlich
- Simulation
- Single
- am Standort
- Seiten
- klein
- So
- Lösung
- Lösungen
- Löst
- einige
- Süd
- standalone
- Anfang
- Anfang
- State-of-the-art
- Immer noch
- speichern
- Studie
- Erfolgreich
- so
- ausreichend
- Aufsicht
- Support
- Unterstützt
- Systeme und Techniken
- Einnahme
- gezielt
- und Aufgaben
- Technologies
- Technologie
- Test
- Das
- die Informationen
- ihr
- Therapeutika
- deswegen
- dachte
- nach drei
- Zeit
- zu
- Training
- trainiert
- Ausbildung
- Studien
- vertraut
- Typen
- typisch
- zugrunde liegen,
- Verständnis
- Einheit
- Universität
- Aktualisierung
- USA
- -
- Nutzer
- Nutzen
- Werte
- Vielfalt
- riesig
- Vertikalen
- Anzeigen
- Seh-
- lebenswichtig
- Volumen
- Walkthrough
- welche
- während
- WHO
- breit
- .
- ohne
- Arbeiten
- Werk
- schreiben
- Schreiben
- Jahr
- Ausbeute
- Du
- Zephyrnet