Це гостьовий пост Картера Хаффмана, технічного директора та співзасновника Modulate.
Модулювати – це бостонський стартап, який має на меті створювати багатші, безпечніші та інклюзивніші онлайн-ігри для всіх. Ми — команда аудіоекспертів світового рівня, геймерів, союзників і футуристів, які прагнуть створити кращий онлайн-світ і зробити голосовий чат безпечнішим для всіх гравців. Ми робимо саме це за допомогою ToxMod, нашої проактивної платформи голосового модерування. Видавці та розробники ігор використовують ToxMod, щоб проактивно модерувати голосовий чат у своїх іграх відповідно до власної політики щодо вмісту, кодексів поведінки та правил спільноти.
Ми вибрали AWS через масштабованість і гнучкість, яких потребувала наша програма, а також чудове обслуговування клієнтів, яке вона пропонує. Використання Обчислювальна хмара Amazon Elastic (Amazon EC2) Примірники G5g використання графічних процесорів NVIDIA T4G Tensor Core як інфраструктури для ToxMod допомогло нам знизити наші витрати в 5 разів (порівняно з примірниками G4dn), досягнувши при цьому наших цілей щодо пропускної здатності та затримки. Як спритний стартап, ми можемо реінвестувати ці заощаджені кошти в подальші інновації, щоб допомогти виконувати нашу місію. У цій публікації ми розповідаємо про наш варіант використання, проблеми та альтернативні шляхи, а також короткий огляд нашого рішення за допомогою AWS.
Змінний метавсесвіт і потреба в ToxMod
Сучасні онлайн-ігри та платформи метавсесвіту стали набагато соціальнішими, ніж їхні попередники. Історично ігри зосереджувалися на тому, щоб надавати гравцям певний досвід. Сьогодні вони перетворилися на простір для спільного спілкування, де гравці та їхні друзі можуть збиратися та обирати різні види досвіду для участі. З цією еволюцією токсичність і словесна образа часто можуть зіпсувати чудовий досвід онлайн.
Насправді, згідно з Недавнє дослідження від Антидефамаційна лігатоксичність в іграх гірша, ніж будь-коли: у 2022 році рівень ідеології переваги білої раси в іграх зріс більш ніж удвічі. Понад три чверті дорослих геймерів повідомили, що зазнавали серйозних переслідувань в онлайн-іграх. Минулого року понад 17 мільйонів молодих геймерів зазнали шкоди та переслідувань. Проблема тільки посилюється, і с майбутні правила що вимагатиме від студій більш активної ролі в управлінні та звітності про токсичність, потреба в проактивній голосовій модерації актуальна як ніколи.
ToxMod допомагає видавцям ігор і платформам проактивно модерувати свій голосовий чат відповідно до власної політики та вказівок, зберігаючи їхні спільноти безпечними та позитивними. ToxMod запускає серію моделей машинного навчання (ML), які аналізують емоційні, текстові та розмовні аспекти голосових розмов, щоб визначити, чи є якісь порушення політики щодо вмісту видавця або платформи. Порушення позначаються модераторам, які можуть вжити заходів проти зловмисників. Наші моделі ML включають виявлення емоцій, транскрипцію та аналіз розмови за допомогою НЛП, який класифікує порушення та надає рангову оцінку, щоб визначити, наскільки впевненим є те, що порушення мало місце. Ці виявлення відбуваються в режимі реального часу та дозволяють видавцям ігор активно модерувати свої спільноти, коли виникає токсичність, запобігаючи заподіянню шкоди гравцям і ескалації небезпечних розмов.
Економічні та технічні міркування
У нас є два види обмежень: економічні та технічні. З економічного боку наша проблема полягає в мінливому попиті та невизначеному масштабі необхідної обчислювальної інфраструктури. В індустрії ігор розробники та видавці запускають ігри з мінімальною прибутковістю та розширюють масштаб лише тоді, коли гра стає успішнішою. Цей успіх може означати, що наші найбільші клієнти обробляють мільйони годин голосового чату на місяць. Витрати ToxMod залежать від кількості годин обробки аудіо, що дуже динамічно залежить від поведінки гравців і зовнішніх факторів, що впливають на популярність гри. Експлуатація наших власних серверів для живлення ToxMod є надзвичайно дорогою з точки зору як вартості, так і пропускної здатності команди. Локальним серверам не вистачає такої масштабованості, і вони часто не використовуються, тому правильний вибір для ToxMod — це хмара. Завдяки AWS ми можемо динамічно масштабуватися, щоб відповідати попиту наших клієнтів, зберігаючи при цьому мінімальні витрати.
З технічної сторони, як і під час створення будь-якої програми обробки голосу, нам потрібно знайти баланс між затримкою та пропускною здатністю. Деякі з наших користувачів хочуть мати можливість вирішувати ситуації, які можуть виникнути в їхніх спільнотах, протягом однієї-двох хвилин. Щоб досягти нашого бюджету затримки, ми знижуємо рівень, наскільки це можливо. Ми маємо великий досвід роботи з пристроями ARM, тому що багато бази коду ToxMod працює на клієнтських пристроях, які часто працюють на процесорі ARM. Екземпляри EC2 G5g на базі графічних процесорів NVIDIA T4G Tensor Core і мають AWS Graviton2 процесори були природним підходом для деяких користувальницьких кодів нейронних мереж, розроблених для використання на стороні клієнта.
Екземпляри EC2 G5g для економічності та надійності AWS
Враховуючи ці міркування, ми вирішили використовувати екземпляри G5g як інфраструктуру для ToxMod, оскільки вони є економічно ефективними та забезпечують знайоме середовище для тестування та розгортання наших моделей. Цей вибір зрештою допоміг нам знизити витрати в 5 разів (порівняно з примірниками G4dn). Щоб мати можливість швидко виконувати ітерацію, нам потрібне було обчислювальне середовище, знайоме нашим науковцям із обробки даних та інженерам ML. Ми змогли отримати образ нашої машини з усіма відповідними драйверами, бібліотеками та змінними середовища, які працюють на екземплярах G5g протягом дня. Ми почали з екземплярів G4dn, а наші початкові тести на G5g дозволили нам знизити витрати на 40%. Багато з наших найдорожчих моделей пов’язані з графічним процесором, тому ми змогли ще більше оптимізувати свої витрати, підібравши правильний розмір до розміру екземпляра, що дозволило нам максимізувати використання ЦП, маючи доступ до одного графічного процесора.
Крім того, що екземпляри G5g особливо добре працювали для нашої конфігурації, ми знали, що можемо розраховувати на технічну підтримку та керування обліковими записами AWS, які допоможуть нам швидко вирішувати проблеми та підтримувати надзвичайно високий час безвідмовної роботи, відчуваючи дуже змінне навантаження. Коли ми починали, ми витрачали менше, ніж двозначні цифри на місяць, і все ж реальна людина звернулася, щоб дізнатися про наш варіант використання, і команда людей працювала з нами, щоб наша програма не тільки працювала, але й працювала з найнижчими витратами. ефективним способом.
Огляд нашого рішення
Рішення ToxMod починається з прийому аудіо, що досягається шляхом інтеграції нашого SDK в інфраструктуру голосового чату гри чи платформи. Використання SDK (через API або інший інтерфейс) має вирішальне значення, тому що під час обробки аудіо ви повинні бути надзвичайно ресурсозберігаючими. Для будь-якого окремого аудіопотоку нам потрібно швидко обробити його та повернути решті системи, інакше клієнти зіткнуться зі збоями в аудіо, чого ми хочемо уникнути будь-якою ціною. Багато речей можуть викликати збої, зокрема розподіл пам’яті, збирання сміття та системні виклики, тому ми розробили ToxMod SDK, щоб забезпечити максимально плавну обробку звуку.
З SDK голосові чати кодуються в коротких буферах і надсилаються через Інтернет. На стороні прийому ми буферизуємо пару секунд аудіо та намагаємося знайти природні точки перерви в голосових розмовах, перш ніж надсилати пакет до хмари AWS, де ми зберігаємо вхідні дані через AWS Lambda функції. Звідти аналіз аудіорозмови виконується за допомогою обробки в екземплярах G5g, які використовують різні аудіомоделі ML. Ми мінімізуємо накладні витрати, групуючи всі отримані пакети та надсилаючи їх на графічні процесори в екземплярах G5g. Екземпляри G5g проходять через черги аудіокліпів для обробки, які ми підключили до груп автоматичного масштабування, які ефективно масштабуються вгору або вниз, коли трафік змінюється протягом дня.
Забігаючи вперед
ToxMod створено для студій будь-якого розміру, від невеликих інді-команд розробників до AAA, розробників і видавців, які складаються з кількох команд. Сьогодні ми маємо кращі можливості, ніж будь-коли, щоб забезпечити рівень підтримки, розробки продукту та надійні функції, які корпоративні команди найбільших студій очікують від своїх партнерів із програмного забезпечення. Завдяки багатомовній підтримці 18 мов, цілодобовій підтримці корпоративного рівня, доступним ліцензіям для одного клієнта для студій із кількома іграми та підтримці масштабованої інфраструктури машинного навчання, яку надає AWS, ми тут, щоб допомогти студіям AAA зробити голосовий чат безпечним. для своїх гравців.
Якщо ви хочете дізнатися більше про те, як екземпляри EC2 G5g можуть допомогти вам економічно ефективно розгорнути робочі навантаження ML, зверніться до Екземпляри Amazon EC2 G5g.
Про авторів
Картер Хаффман є технічним директором і співзасновником Modulate, стартапу з голосовими технологіями, метою якого є боротьба з онлайн-токсичністю та покращення голосового спілкування в іграх. Він має досвід фізики, машинного навчання та аналізу даних, а раніше працював у Лабораторії реактивного руху NASA. Він захоплений розумінням людської мови та маніпулюванням нею за допомогою глибоких нейронних мереж. Він закінчив MIT зі ступенем бакалавра наук з фізики.
Шруті Копаркар є старшим менеджером з маркетингу продуктів в AWS. Вона допомагає клієнтам вивчити, оцінити та застосувати прискорену обчислювальну інфраструктуру EC2 для потреб машинного навчання.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :є
- $UP
- 100
- 17 млн
- 2022
- 7
- a
- AAA
- здатність
- Здатний
- МЕНЮ
- зловживання
- прискорений
- доступ
- виконано
- За
- рахунки
- управління рахунками
- досягнення
- дію
- активний
- актори
- адреса
- прийняти
- Для дорослих
- зачіпає
- проти
- Цілі
- ВСІ
- розподіл
- альтернатива
- Amazon
- Amazon EC2
- аналіз
- аналізувати
- та
- API
- додаток
- ЕСТЬ
- ARM
- AS
- аспекти
- At
- аудіо
- автоматичний
- доступний
- AWS
- назад
- фон
- поганий
- Balance
- ширина смуги
- база
- заснований
- BE
- оскільки
- ставати
- стає
- перед тим
- Краще
- між
- Перерва
- Бюджети
- буфера
- будувати
- Створюємо
- побудований
- by
- CAN
- випадок
- Викликати
- проблеми
- заміна
- вибір
- Вибирати
- вибрав
- кліпси
- хмара
- Співзасновник
- код
- кодова база
- збір
- Комунікація
- спільноти
- співтовариство
- порівняний
- обчислення
- обчислення
- Проводити
- впевнений
- конфігурація
- міркування
- обмеження
- зміст
- Розмова
- діалоговий
- розмови
- Core
- Коштувати
- економія на витратах
- рентабельним
- витрати
- може
- Пара
- обкладинка
- критичний
- CTO
- Куратор
- виготовлений на замовлення
- клієнт
- Контакти
- Клієнти
- Небезпечний
- дані
- аналіз даних
- день
- вирішене
- глибокий
- Попит
- розгортання
- Виявлення
- Визначати
- DEV
- розвиненою
- розробників
- розробка
- прилади
- цифр
- справи
- подвійний
- двозначні цифри
- подвоєний
- вниз
- драйвери
- динамічний
- динамічно
- Економічний
- продуктивно
- включіть
- включений
- Інженери
- забезпечувати
- підприємство
- підприємства
- Навколишнє середовище
- середовищах
- оцінювати
- НІКОЛИ
- все
- еволюція
- еволюціонували
- очікувати
- дорогий
- досвід
- Досліди
- зазнають
- experts
- дослідити
- піддаватися
- експонування
- зовнішній
- надзвичайно
- фактори
- знайомий
- риси
- Показуючи
- Fed
- боротися
- знайти
- відповідати
- позначений прапором
- увагу
- для
- друзі
- від
- Функції
- далі
- гра
- Геймери
- Games
- ігрова індустрія
- азартні ігри
- отримати
- отримання
- Go
- Цілі
- GPU
- Графічні процесори
- великий
- Групи
- гість
- Guest Post
- керівні вказівки
- рука
- траплятися
- Відбувається
- Мати
- має
- допомога
- допоміг
- допомагає
- тут
- Високий
- дуже
- історично
- ГОДИННИК
- Як
- HTTP
- HTTPS
- людина
- ідеології
- зображення
- in
- включати
- Включно
- Вхідний
- промисловість
- Інфраструктура
- початковий
- інновація
- екземпляр
- інтеграція
- інтерфейс
- інтернет
- питання
- IT
- JPG
- зберігання
- лабораторія
- відсутність
- мови
- найбільших
- Затримка
- запуск
- УЧИТЬСЯ
- вивчення
- рівень
- libraries
- ліцензії
- як
- загрузка
- серія
- низький
- машина
- навчання за допомогою машини
- підтримувати
- зробити
- РОБОТИ
- управління
- менеджер
- управління
- маніпулювання
- манера
- багато
- поля
- Маркетинг
- матч
- Максимізувати
- Може..
- сенс
- Зустрічатися
- пам'ять
- Метавеси
- платформи метавсесвіту
- мільйона
- мільйони
- мінімальний
- мінімальний
- хвилин
- Місія
- MIT
- ML
- Моделі
- помірність
- місяць
- більше
- найбільш
- множинний
- кілька ігор
- Природний
- Необхідність
- потреби
- мережу
- мереж
- нейронної мережі
- нейронні мережі
- номер
- Nvidia
- сталося
- of
- Пропозиції
- on
- онлайн
- онлайн-ігор
- операційний
- Оптимізувати
- Інше
- інакше
- огляд
- власний
- пакет
- пакети
- особливо
- партнери
- пристрасний
- Минуле
- Люди
- людина
- Фізика
- платформа
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- гравці
- точок
- Політика
- популярність
- розташовані
- позитивний
- це можливо
- пошта
- влада
- Харчування
- попередження
- раніше
- Проактивний
- Проблема
- процес
- Оброблено
- обробка
- процесор
- процесори
- Product
- розробка продукту
- силова установка
- забезпечувати
- забезпечує
- забезпечення
- видавців
- швидко
- досяг
- реальний
- реального часу
- отримати
- зниження
- реінвестувати
- доречний
- Повідомляється
- Звітність
- вимагати
- вимагається
- REST
- міцний
- Роль
- губити
- прогін
- біг
- сейф
- безпечніше
- зберегти
- Економія
- масштабованість
- масштабовані
- шкала
- Масштабування
- наука
- Вчені
- рахунок
- Sdk
- seconds
- відправка
- старший
- Серія
- служити
- Сервери
- обслуговування
- важкий
- Короткий
- сторона
- один
- ситуацій
- Розмір
- розміри
- невеликий
- So
- соціальна
- Софтвер
- рішення
- деякі
- що в сім'ї щось
- Простір
- конкретний
- мова
- Витрати
- почалася
- введення в експлуатацію
- Як і раніше
- потік
- удар
- студії
- успіх
- успішний
- підтримка
- система
- Приймати
- команда
- команди
- технічний
- Технологія
- terms
- тест
- Тести
- Що
- Команда
- їх
- Їх
- Ці
- речі
- через
- по всьому
- пропускна здатність
- час
- до
- сьогодні
- трафік
- Типи
- Зрештою
- Невизначений
- розуміння
- час безвідмовної роботи
- терміново
- us
- Використання
- використання
- використання випадку
- користувачі
- різноманітність
- через
- ПОРУШЕННЯ
- Порушення
- Голос
- ДОБРЕ
- який
- в той час як
- білий
- ВООЗ
- волі
- з
- в
- Work
- працював
- робочий
- світ
- Світовий клас
- б
- рік
- Ти
- молодий
- вашу
- зефірнет