Это гостевой пост Картера Хаффмана, технического директора и соучредителя Modulate.
модулировать — стартап из Бостона, задача которого — сделать онлайн-игры более богатыми, безопасными и инклюзивными для всех. Мы команда аудио экспертов мирового класса, геймеров, союзников и футуристов, которые стремятся построить лучший онлайн-мир и сделать голосовой чат более безопасным для всех игроков. Мы делаем именно это с ToxMod, нашей проактивной голосовой платформой для модерации. Издатели и разработчики игр используют ToxMod для активной модерации голосового чата в своих играх в соответствии со своими собственными политиками в отношении контента, кодексами поведения и правилами сообщества.
Мы выбрали AWS из-за масштабируемости и эластичности, необходимых нашему приложению, а также из-за отличного обслуживания клиентов, которое оно предлагает. С использованием Эластичное вычислительное облако Amazon (Амазон EC2) Экземпляры G5g использование графических процессоров NVIDIA T4G с тензорными ядрами в качестве инфраструктуры для ToxMod помогло нам снизить наши затраты в 5 раз (по сравнению с инстансами G4dn), достигнув при этом наших целей по пропускной способности и задержке. Как динамичный стартап, мы можем реинвестировать сэкономленные средства в дальнейшие инновации, которые помогут нам выполнить нашу миссию. В этом посте мы рассмотрим наш вариант использования, проблемы и альтернативные пути, а также краткий обзор нашего решения с использованием AWS.
Меняющаяся метавселенная и потребность в ToxMod
Современные онлайн-игры и платформы метавселенной стали гораздо более социальными, чем их предшественники. Исторически сложилось так, что игры были сосредоточены на предоставлении игрокам особого кураторского опыта. Сегодня они превратились в больше похожее на общественное пространство, где игроки и их друзья могут собираться и выбирать различные развлечения для участия. С такой эволюцией токсичность и словесные оскорбления часто могут испортить отличный онлайн-опыт.
Фактически, согласно Недавнее исследование из Антидиффамационная лига, токсичность в играх хуже, чем когда-либо: подверженность идеологии превосходства белой расы в играх увеличилась более чем вдвое в 2022 году. Более трех четвертей взрослых геймеров сообщили о жестоком преследовании в онлайн-играх. За последний год более 17 миллионов молодых геймеров подверглись оскорблениям и преследованиям. Проблема только усугубляется, и с предстоящие правила это потребует от студий играть более активную роль в управлении и отчетности о токсичности, необходимость активной голосовой модерации актуальна как никогда.
ToxMod помогает издателям игр и платформам активно модерировать голосовой чат в соответствии с их собственными политиками и рекомендациями, обеспечивая безопасность и позитивный настрой их сообществ. ToxMod запускает серию моделей машинного обучения (ML), которые анализируют эмоциональные, текстовые и разговорные аспекты голосовых разговоров, чтобы определить, есть ли какие-либо нарушения политик контента издателя или платформы. О нарушениях сообщают модераторам-людям, которые могут принять меры против злоумышленников. Наши модели машинного обучения включают в себя обнаружение эмоций, транскрипцию и разговорный анализ на основе НЛП, который классифицирует нарушения и предоставляет ранговый балл, чтобы определить, насколько достоверно то, что нарушение имело место. Эти обнаружения происходят в режиме реального времени и позволяют издателям игр активно модерировать свои сообщества по мере возникновения токсичности, предотвращая причинение вреда игрокам и эскалацию опасных разговоров.
Экономические и технические соображения
У нас есть два типа ограничений: экономические и технические. С экономической стороны наша проблема заключается в непостоянстве спроса и неопределенности масштаба необходимой вычислительной инфраструктуры. В игровой индустрии разработчики и издатели выпускают игры с минимальной маржей и увеличивают масштабы только по мере того, как игра становится более успешной. Этот успех может означать, что наши крупнейшие клиенты обрабатывают миллионы часов голосового чата в месяц. Затраты на ToxMod зависят от количества часов обработки аудио, которое очень динамично зависит от поведения игроков и внешних факторов, влияющих на популярность игры. Эксплуатация наших собственных серверов для питания ToxMod непомерно дорога с точки зрения как стоимости, так и пропускной способности команды. Локальным серверам не хватает этой масштабируемости, и они часто недоиспользуются, а это означает, что правильным выбором для ToxMod является облако. С помощью AWS мы можем динамически масштабироваться в соответствии с потребностями наших клиентов при минимальных затратах.
С технической стороны, как и при создании любого голосового приложения, нам необходимо найти баланс между задержкой и пропускной способностью. Некоторым из наших пользователей нужна возможность решать ситуации, которые могут возникнуть в их сообществах, в течение минуты или двух после их возникновения. Чтобы уложиться в наши бюджеты задержки, мы используем как можно более низкий уровень. У нас есть большой опыт работы с устройствами ARM, потому что большая часть кодовой базы ToxMod работает на клиентских устройствах, которые часто работают на процессоре ARM. Инстансы EC2 G5g на базе графических процессоров NVIDIA T4G с тензорными ядрами и функциями АМС Гравитон2 Процессоры естественным образом подходили для некоторого пользовательского кода вывода нейронных сетей, который был разработан для использования на стороне клиента.
Инстансы EC2 G5g для экономичности и надежности AWS
С учетом этих соображений мы решили использовать инстансы G5g в качестве инфраструктуры для ToxMod, поскольку они экономичны и предоставляют знакомые среды для тестирования и развертывания наших моделей. Этот выбор в конечном итоге помог нам снизить затраты в 5 раз (по сравнению с инстансами G4dn). Чтобы иметь возможность быстро выполнять итерации, нам нужна была вычислительная среда, знакомая нашим специалистам по данным и инженерам по машинному обучению. Мы смогли получить образ нашей машины со всеми соответствующими драйверами, библиотеками и переменными среды, работающими на инстансах G5g, в течение дня. Мы начали с инстансов G4dn, и наши первоначальные тесты на G5g позволили нам снизить затраты на 40%. Многие из наших самых дорогих моделей привязаны к графическому процессору, поэтому мы смогли еще больше оптимизировать наши расходы за счет выбора правильного размера экземпляра, который позволил нам максимально использовать ЦП, сохраняя при этом доступ к одному графическому процессору.
Мы знали, что помимо инстансов G5g, особенно хорошо работающих для нашей конфигурации, мы можем рассчитывать на техническую поддержку и управление учетными записями AWS, которые помогут нам быстро решать проблемы и поддерживать чрезвычайно высокое время безотказной работы при очень переменной нагрузке. Когда мы начинали, мы тратили менее двузначных чисел в месяц, и тем не менее реальный человек связался с нами, чтобы узнать о нашем сценарии использования, и команда людей работала с нами, чтобы наше приложение не только работало, но и работало с наибольшей стоимостью. эффективным способом.
Обзор нашего решения
Решение ToxMod начинается с приема звука, что достигается за счет интеграции нашего SDK в инфраструктуру голосового чата игры или платформы. Использование SDK (через API или другой интерфейс) имеет решающее значение, поскольку при обработке аудио необходимо максимально эффективно использовать ресурсы. Для любого отдельного аудиопотока нам необходимо быстро обработать его и передать остальной части системы, иначе клиенты столкнутся со сбоями в звуке, чего мы хотим избежать любой ценой. Многие вещи могут вызывать сбои, включая выделение памяти, сборку мусора и системные вызовы, поэтому мы разработали ToxMod SDK, чтобы обеспечить максимально плавную обработку звука.
Из SDK голосовые чаты кодируются в короткие буферы и отправляются через Интернет. На стороне загрузки мы буферизуем пару секунд аудио и пытаемся найти естественные точки прерывания в голосовых разговорах перед отправкой пакета в облако AWS, где мы сохраняем входящие данные через AWS Lambda функции. Оттуда анализ аудиоразговора выполняется посредством обработки экземпляров G5g, на которых запущены наши разнообразные аудиомодели машинного обучения. Мы минимизируем накладные расходы, группируя все пакеты, которые мы получаем, и отправляя их на графические процессоры в инстансах G5g. Экземпляры G5g передаются для обработки через очереди аудиоклипов, которые мы подключили к группам автоматического масштабирования, которые эффективно масштабируются вверх или вниз по мере изменения трафика в течение дня.
Забегая вперед
ToxMod создан для студий любого размера, от небольших независимых команд разработчиков до AAA, многокомандных разработчиков и издателей. Сегодня у нас больше возможностей, чем когда-либо, чтобы обеспечить уровень поддержки, разработки продуктов и надежных функций, которые корпоративные группы в крупнейших студиях ожидают от своих партнеров по программному обеспечению. Благодаря многоязычной поддержке 18 языков, круглосуточной поддержке корпоративного уровня, доступным лицензиям на одного арендатора для студий с несколькими играми и поддержке масштабируемой инфраструктуры машинного обучения, предоставляемой AWS, мы здесь, чтобы помочь студиям AAA сделать голосовой чат безопасным. для своих игроков.
Если вы хотите узнать больше о том, как инстансы EC2 G5g могут помочь вам экономически эффективно развернуть рабочие нагрузки машинного обучения, см. Инстансы Amazon EC2 G5g.
Об авторах
Картер Хаффман является техническим директором и соучредителем Modulate, стартапа в области голосовых технологий, целью которого является борьба с онлайн-токсичностью и улучшение голосового общения в играх. У него есть опыт работы в области физики, машинного обучения и анализа данных, а ранее он работал в Лаборатории реактивного движения НАСА. Он увлечен пониманием человеческой речи и управлением ею с помощью глубоких нейронных сетей. Он окончил Массачусетский технологический институт со степенью бакалавра наук в области физики.
Шрути Копаркар является старшим менеджером по маркетингу продуктов в AWS. Она помогает клиентам исследовать, оценивать и внедрять инфраструктуру ускоренных вычислений EC2 для своих потребностей в машинном обучении.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :является
- $UP
- 100
- 17 млн
- 2022
- 7
- a
- AAA
- способность
- в состоянии
- О нас
- злоупотребление
- ускоренный
- доступ
- выполнено
- По
- Учетная запись
- управление счетами
- достижение
- Действие
- активный
- актеры
- адрес
- принять
- Для взрослых
- затрагивающий
- против
- Цель
- Все
- распределение
- альтернатива
- Amazon
- Amazon EC2
- анализ
- анализировать
- и
- API
- Применение
- МЫ
- ARM
- AS
- аспекты
- At
- аудио
- автоматический
- доступен
- AWS
- назад
- фон
- Плохой
- Баланс
- Пропускная способность
- Использование темпера с изогнутым основанием
- основанный
- BE
- , так как:
- становиться
- становится
- до
- Лучшая
- между
- Ломать
- Бюджеты
- буфер
- строить
- Строительство
- построенный
- by
- CAN
- случаев
- Вызывать
- проблемы
- изменения
- выбор
- Выберите
- выбрал
- клипсы
- облако
- Соучредитель
- код
- кодовая база
- лыжных шлемов
- Связь
- Сообщества
- сообщество
- сравненный
- Вычисление
- вычисление
- Проводить
- уверенный
- Конфигурация
- соображения
- ограничения
- содержание
- Разговор
- диалоговый
- Беседы
- Основные
- Цена
- экономия на издержках
- рентабельным
- Расходы
- может
- Пара
- чехол для варгана
- критической
- CTO
- Куратор
- изготовленный на заказ
- клиент
- Служба поддержки игроков
- Клиенты
- опасно
- данным
- анализ данных
- день
- решенный
- глубоко
- Спрос
- развертывание
- обнаружение
- Определять
- Дев
- развитый
- застройщиков
- Развитие
- Устройства
- цифры
- дело
- двойной
- двойные цифры
- удвоенны
- вниз
- драйверы
- динамический
- динамично
- Экономические
- эффективно
- включить
- включен
- Инженеры
- обеспечивать
- Предприятие
- корпоративного класса
- Окружающая среда
- средах
- оценивать
- НИКОГДА
- все члены
- эволюция
- эволюционировали
- ожидать
- дорогим
- опыт
- Впечатления
- испытывающих
- эксперты
- Больше
- подвергаться
- Экспозиция
- и, что лучший способ
- чрезвычайно
- факторы
- знакомый
- Особенности
- Показывая
- ФРС
- бороться
- Найдите
- соответствовать
- Помеченные
- внимание
- Что касается
- друзья
- от
- Функции
- далее
- игра
- Геймеры
- Игры
- игровая индустрия
- игровой
- получить
- получающий
- Go
- Цели
- GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР
- Графические процессоры
- большой
- Группы
- GUEST
- Guest Post
- методические рекомендации
- рука
- происходить
- Случай
- Есть
- имеющий
- помощь
- помог
- помогает
- здесь
- High
- очень
- исторически
- ЧАСЫ
- Как
- HTTP
- HTTPS
- человек
- идеологии
- изображение
- in
- включают
- включительно
- Входящий
- промышленность
- Инфраструктура
- начальный
- Инновации
- пример
- интеграции.
- Интерфейс
- Интернет
- вопросы
- IT
- JPG
- хранение
- лаборатория
- Отсутствие
- Языки
- крупнейших
- Задержка
- запуск
- УЧИТЬСЯ
- изучение
- уровень
- библиотеки
- лицензии
- такое как
- загрузка
- серия
- Низкий
- машина
- обучение с помощью машины
- поддерживать
- сделать
- ДЕЛАЕТ
- управление
- менеджер
- управления
- манипуляционная
- способ
- многих
- поля
- Маркетинг
- Совпадение
- Максимизировать
- Май..
- смысл
- Встречайте
- Память
- Metaverse
- платформы метавселенной
- миллиона
- миллионы
- минимальный
- минимальный
- минут
- Наша миссия
- MIT
- ML
- Модели
- умеренность
- Месяц
- БОЛЕЕ
- самых
- с разными
- несколько игр
- натуральный
- Необходимость
- потребности
- сеть
- сетей
- нейронной сети
- нейронные сети
- номер
- Nvidia
- произошло
- of
- Предложения
- on
- онлайн
- онлайн-игр
- операционный
- Оптимизировать
- Другое
- в противном случае
- обзор
- собственный
- пакет
- пакеты
- особенно
- партнеры
- страстный
- мимо
- Люди
- человек
- Физика
- Платформа
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игроки
- пунктов
- сборах
- популярность
- расположены
- положительный
- возможное
- После
- мощностью
- Питание
- предупреждение
- предварительно
- Проактивная
- Проблема
- процесс
- Обработанный
- обработка
- процессор
- процессоры
- Продукт
- разработка продукта
- силовая установка
- обеспечивать
- приводит
- обеспечение
- Издатели
- быстро
- достиг
- реальные
- реального времени
- Получать
- снижение
- реинвестировать
- соответствующие
- Сообщается
- Reporting
- требовать
- обязательный
- ОТДЫХ
- надежный
- Роли
- губить
- Run
- Бег
- безопасный
- безопаснее
- Сохранить
- экономия
- Масштабируемость
- масштабируемые
- Шкала
- масштабирование
- Наука
- Ученые
- Гол
- SDK
- секунды
- отправка
- старший
- Серии
- служить
- Серверы
- обслуживание
- тяжелый
- Короткое
- сторона
- одинарной
- обстоятельства
- Размер
- Размеры
- небольшой
- So
- Соцсети
- Software
- Решение
- некоторые
- удалось
- Space
- конкретный
- речь
- Расходы
- и политические лидеры
- ввод в эксплуатацию
- По-прежнему
- поток
- удар
- студии
- успех
- успешный
- поддержка
- система
- взять
- команда
- команды
- Технический
- Технологии
- terms
- тестXNUMX
- тестов
- который
- Ассоциация
- их
- Их
- Эти
- вещи
- Через
- по всему
- пропускная способность
- время
- в
- сегодня
- трафик
- Типы
- В конечном счете
- Неопределенный
- понимание
- Провел на сайте
- срочный
- us
- Применение
- использование
- прецедент
- пользователей
- разнообразие
- с помощью
- НАРУШЕНИЕ
- Нарушения
- Режимы
- ЧТО Ж
- который
- в то время как
- белый
- КТО
- будете
- в
- Работа
- работавший
- работает
- Мир
- мировой класс
- бы
- год
- Ты
- молодой
- ВАШЕ
- зефирнет