Технологические тенденции и достижения в области цифровых медиа за последнее десятилетие или около того привели к распространению текстовых данных. Потенциальные преимущества изучения этого текста для получения идей, как тактических, так и стратегических, огромны. Это называется обработкой естественного языка (НЛП). Вы можете использовать NLP, например, для анализа обзоров продуктов на предмет настроений клиентов, обучения настраиваемой модели распознавания объектов для определения интересующих типов продуктов на основе комментариев клиентов или обучения настраиваемой модели классификации текста для определения наиболее популярных категорий продуктов.
Amazon Comprehend — это сервис НЛП с готовым интеллектом для извлечения информации о содержании документов. Он развивает понимание, распознавая сущности, ключевые фразы, язык, настроения и другие общие элементы в документе. Amazon Comprehend Custom использует автоматическое машинное обучение (Auto ML) для построения моделей НЛП от вашего имени с использованием ваших собственных данных. Это позволяет вам обнаруживать объекты, уникальные для вашего бизнеса, или классифицировать текст или документы в соответствии с вашими требованиями. Кроме того, вы можете автоматизировать весь рабочий процесс НЛП с помощью простых в использовании API.
Сегодня мы рады объявить о запуске функции копирования пользовательских моделей Amazon Comprehend, которая позволяет автоматически копировать пользовательские модели Amazon Comprehend из исходной учетной записи в назначенные целевые учетные записи в том же регионе, не требуя доступа к наборам данных, в которых используется модель. прошел обучение и оценку. С сегодняшнего дня вы можете использовать Консоль управления AWS, Интерфейс командной строки AWS (интерфейс командной строки AWS) или API-интерфейсы boto3 (Python SDK для AWS) для копирования обученных пользовательских моделей из исходной учетной записи в назначенную целевую учетную запись. Эта новая функция доступна как для пользовательской классификации Amazon Comprehend, так и для пользовательских моделей распознавания объектов.
Преимущества функции копирования модели
Эта новая функция имеет следующие преимущества:
- Стратегия MLOps с несколькими аккаунтами – Обучите модель один раз и обеспечьте предсказуемое развертывание в нескольких средах в разных учетных записях.
- Ускоренное развертывание – Вы можете быстро скопировать обученную модель между учетными записями, избегая времени, затрачиваемого на повторное обучение в каждой учетной записи.
- Защитите конфиденциальные наборы данных – Теперь вам больше не нужно делиться наборами данных между разными учетными записями или пользователями. Данные обучения должны быть доступны только в той учетной записи, где проводится обучение. Это очень важно для некоторых отраслей, таких как финансовые услуги, где изоляция данных и изолированная программная среда необходимы для соответствия нормативным требованиям.
- Простое сотрудничество – Партнеры и поставщики теперь могут легко обучаться работе с Amazon Comprehend Custom и делиться моделями со своими клиентами.
Как работает копирование модели
Благодаря новой функции копирования моделей вы можете копировать пользовательские модели между учетными записями AWS в одном регионе в два этапа. Во-первых, пользователь в одной учетной записи AWS (учетная запись A) использует пользовательскую модель, которая находится в его учетной записи. Затем пользователь в другой учетной записи AWS (учетная запись B) импортирует модель в свою учетную запись.
Поделиться моделью
Чтобы поделиться пользовательской моделью в аккаунте А, пользователь прикрепляет Управление идентификацией и доступом AWS (IAM) политику на основе ресурсов в версию модели. Эта политика разрешает объекту в учетной записи B, например пользователю или роли IAM, импортировать версию модели в Amazon Comprehend в своей учетной записи AWS. Вы можете настроить политику на основе ресурсов либо через консоль, либо с помощью пользовательской настройки Amazon Comprehend. PutResourcePolicy
API.
Импортировать модель
Чтобы импортировать модель в учетную запись B, пользователь этой учетной записи предоставляет Amazon Comprehend необходимые данные, такие как имя ресурса Amazon (ARN) модели. Импортируя модель, этот пользователь создает новую пользовательскую модель в своей учетной записи AWS, которая копирует импортированную модель. Эта модель полностью обучена и готова к выполнению таких задач, как классификация документов или распознавание именованных объектов. Если модель зашифрована с помощью Служба управления ключами AWS (AWS KMS) в источнике, то роль службы, указанная при импорте модели, должна иметь доступ к ключу KMS, чтобы расшифровать модель во время импорта. Целевая учетная запись также может указать ключ KMS для шифрования модели во время импорта. Импорт общей модели также доступен как на консоли, так и через API.
Обзор решения
Чтобы продемонстрировать функциональность функции копирования модели, мы покажем, как обучать, публиковать и импортировать пользовательскую модель распознавания объектов Amazon Comprehend с помощью консоли Amazon Comprehend и интерфейса командной строки AWS. Для этой демонстрации мы используем две разные учетные записи. Эти шаги также применимы к пользовательской классификации Amazon Comprehend. Необходимые шаги следующие:
- Обучите пользовательскую модель распознавания объектов Amazon Comprehend в исходной учетной записи.
- Определите политику ресурсов IAM для обученной модели, чтобы разрешить доступ между учетными записями.
- Скопируйте обученную модель из исходной учетной записи в целевую учетную запись.
- Проверьте скопированную модель с помощью пакетного задания.
Обучение пользовательской модели распознавания объектов Amazon Comprehend в исходной учетной записи.
Первым шагом является обучение пользовательской модели распознавания объектов Amazon Comprehend в исходной учетной записи. В качестве входного набора данных для обучения мы используем CSV-файл. список объектов и документы по обучению для распознавания предложений сервисов AWS в данном документе. Убедитесь, что список организаций и документы по обучению находятся в Простой сервис хранения Amazon (Amazon S3) в исходном аккаунте. Инструкции см. Добавление документов в Amazon S3.
Создать роль IAM для Amazon Comprehend и предоставьте необходимый доступ к корзине S3 с обучающими данными. Обратите внимание на пути к корзинам ролей ARN и S3, которые будут использоваться на последующих шагах.
Обучение модели с помощью AWS CLI
Создайте распознаватель объектов, используя следующую команду AWS CLI. Замените свои параметры на пути S3, роль IAM и регион. Ответ возвращает обратно EntityRecognizerArn
.
Статус задания обучения можно отслеживать, вызвав описанию-распознавателя сущностей и проверив статус в ответе.
Обучение модели через консоль
Чтобы обучить модель через консоль, выполните следующие шаги:
- На консоли Amazon Comprehend, под Адаптация люстры, создайте новую пользовательскую модель распознавания объектов.
- Укажите название модели и версию.
- Что касается Язык, выберите английский.
- Что касается Пользовательский тип объекта, добавлять
AWS_OFFERING
.
Чтобы обучить пользовательскую модель распознавания объектов, вы можете выбрать один из двух способов предоставления данных в Amazon Comprehend: аннотации or списки объектов. Для простоты используйте метод списка сущностей.
- Что касается Формат данных, наведите на CSV-файл.
- Что касается Тип обучения, наведите на Использование списка сущностей и учебной документации.
- Укажите пути к местоположению S3 для CSV-файла со списком объектов и данных обучения.
- Чтобы предоставить Amazon Comprehend разрешения на доступ к вашей корзине S3, создайте роль, связанную со службой IAM.
В Ресурсная политика разделе вы можете разрешить доступ к версии модели. Аккаунты, которым вы предоставляете доступ, могут импортировать эту модель в свою учетную запись. Мы пока пропустим этот шаг и добавим политику после того, как модель будет обучена и мы будем удовлетворены производительностью модели.
- Выберите Создавай.
При этом передается ваш собственный распознаватель объектов, который проходит через ряд моделей, настраивает ваши гиперпараметры и проверяет перекрестную проверку, чтобы убедиться в надежности вашей модели. Это все те же действия, которые выполняют ученые, работающие с данными.
Определите политику ресурсов IAM для обученной модели, чтобы разрешить доступ к нескольким учетным записям.
Когда мы удовлетворены эффективностью обучения, мы можем продолжить и поделиться конкретной версией модели, добавив политику ресурсов.
Добавьте политику на основе ресурсов из интерфейса командной строки AWS.
Разрешите импорт модели из целевой учетной записи, добавив к модели политику ресурсов, как показано в следующем коде. Политика может быть строго привязана к конкретной версии модели и целевому субъекту. Замените свой обученный распознаватель объектов ARN и целевую учетную запись, к которой требуется предоставить доступ.
Добавьте политику на основе ресурсов через консоль
По завершении обучения создается версия пользовательской модели распознавания объектов. Мы можем выбрать обученную модель и версию, чтобы просмотреть детали обучения, включая производительность обученной модели.
Чтобы обновить политику, выполните следующие действия:
- На Теги, VPC и политика на вкладке «Отредактируйте политику на основе ресурсов».
- Укажите имя политики, субъекта службы Amazon Comprehend (
comprehend.amazonaws.com
), идентификатор целевой учетной записи и пользователи IAM в целевой учетной записи, которым разрешено импортировать версию модели.
Мы указываем root
в качестве объекта IAM для авторизации всех пользователей в целевой учетной записи.
Скопируйте обученную модель из исходной учетной записи в целевую учетную запись.
Теперь модель обучается и публикуется из исходной учетной записи. Авторизованный пользователь целевой учетной записи может импортировать модель и создать копию модели в своей учетной записи.
Чтобы импортировать модель, вам необходимо указать ARN исходной модели и роль службы, чтобы Amazon Comprehend мог выполнить действие копирования в вашей учетной записи. Вы можете указать дополнительный идентификатор AWS KMS для шифрования модели в целевой учетной записи.
Импортируйте модель через AWS CLI.
Чтобы импортировать модель с помощью AWS CLI, введите следующий код:
Импортируйте модель через консоль
Чтобы импортировать модель через консоль, выполните следующие действия:
- На консоли Amazon Comprehend, под Распознавание пользовательских объектов, выберите Импортировать версию.
- Что касается Версия модели АРН, введите ARN модели, обученной в исходном аккаунте.
- Введите название модели и версию целевого объекта.
- Укажите роль учетной записи службы и выберите подтвердить чтобы начать процесс импорта модели.
После того, как статус модели изменится на Imported
мы можем просмотреть сведения о модели, включая сведения о производительности обученной модели.
Проверьте скопированную модель с помощью пакетного задания.
Мы тестируем скопированную модель в целевой учетной записи, обнаруживая пользовательские объекты с помощью пакетного задания. Для тестирования модели скачайте тестовый файл и поместите его в корзину S3 в целевой учетной записи. Создать роль IAM для Amazon Comprehend и предоставим необходимый доступ к корзине S3 с тестовыми данными. Вы используете роли ARN и пути корзины S3, которые вы отметили ранее.
После завершения задания вы можете проверить данные вывода в указанном выходном сегменте S3.
Проверьте модель с помощью AWS CLI.
Чтобы протестировать модель с помощью AWS CLI, введите следующий код:
Протестируйте модель через консоль
Чтобы протестировать модель через консоль, выполните следующие действия:
- На консоли Amazon Comprehend выберите Работа по анализу , а затем выбрать Создать работу.
- Что касается Фамилия, введите имя задания.
- Что касается Тип анализавыберите Распознавание пользовательских объектов.
- Выберите имя модели и версию импортированной модели.
- Укажите пути S3 для тестового файла задания и место вывода, в котором Amazon Comprehend сохраняет результат.
- Выберите или создайте роль IAM с разрешением на доступ к корзинам S3.
- Выберите Создать работу.
Когда задание анализа будет завершено, в выходном пути к корзине S3 появятся файлы JSON, которые можно загрузить, чтобы проверить результаты распознавания объектов из импортированной модели.
Заключение
В этом посте мы продемонстрировали функцию копирования модели пользовательского объекта Amazon Comprehend. Эта функция дает вам возможность обучить пользовательскую модель распознавания или классификации объектов Amazon Comprehend в одной учетной записи, а затем поделиться этой моделью с другой учетной записью в том же регионе. Это упрощает стратегию с несколькими учетными записями, при которой модель можно обучить один раз и использовать совместно между учетными записями в одном регионе без необходимости переобучения или совместного использования наборов обучающих данных. Это позволяет обеспечить предсказуемое развертывание в каждой учетной записи в рамках рабочего процесса MLOps. Дополнительную информацию см. в нашей документации по Понимание пользовательской копииили опробуйте пошаговое руководство, описанное в этом посте, либо через консоль, либо с помощью облачной оболочки с интерфейсом командной строки AWS.
На момент написания этой статьи функция копирования модели в Amazon Comprehend доступна в следующих регионах:
- США Восток (Огайо)
- Восток США (Северная Вирджиния)
- Запад США (Орегон)
- Азиатско-Тихоокеанский регион (Мумбаи)
- Азиатско-Тихоокеанский регион (Сеул)
- Азиатско-Тихоокеанский регион (Сингапур)
- Азиатско-Тихоокеанский регион (Сидней)
- Азиатско-Тихоокеанский регион (Токио)
- ЕС (Франкфурт)
- ЕС (Ирландия)
- ЕС (Лондон)
- AWS GovCloud (Запад США)
Попробуйте эту функцию и отправьте нам отзыв либо через Форум AWS для Amazon Comprehend или через обычные контакты службы поддержки AWS.
Об авторах
Премкумар Рангараджан — специалист по архитектуре решений искусственного интеллекта и машинного обучения в Amazon Web Services. Ранее он был автором книги «Обработка естественного языка с помощью сервисов AWS AI». Он имеет 26-летний опыт работы в ИТ-индустрии на различных должностях, включая руководителя поставки, специалиста по интеграции и архитектора предприятия. Он помогает предприятиям любого размера внедрять искусственный интеллект и машинное обучение для решения реальных задач.
Четан Кришна является старшим архитектором партнерских решений в Индии. Он работает со стратегическими партнерами AWS над созданием надежной облачной компетенции, внедрением лучших практик AWS и решением проблем клиентов. Он строитель и любит экспериментировать с искусственным интеллектом/МО, Интернетом вещей и аналитикой.
Шрихарша М.С. является специалистом-архитектором решений AI / ML в группе специалистов по стратегическим вопросам Amazon Web Services. Он работает со стратегическими клиентами AWS, которые используют AI / ML для решения сложных бизнес-задач. Он предоставляет техническое руководство и советы по проектированию для масштабного внедрения приложений AI / ML. Его опыт охватывает архитектуру приложений, большие данные, аналитику и машинное обучение.
- Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
- КриптоХок. Альткоин Радар. Бесплатная пробная версия.
- Источник: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- О нас
- доступ
- Учетная запись
- Действие
- активно
- достижения
- плюс
- совет
- AI
- Услуги искусственного интеллекта
- Все
- Amazon
- Amazon Web Services
- анализ
- аналитика
- анонсировать
- объявляющий
- Другой
- API
- API
- отношение
- Применение
- Приложения
- архитектура
- автоматический
- доступен
- AWS
- Преимущества
- ЛУЧШЕЕ
- лучшие практики
- граница
- строить
- строитель
- бизнес
- проблемы
- контроль
- Проверки
- классификация
- облако
- код
- Комментарии
- Общий
- комплекс
- Консоли
- содержание
- Клиенты
- данным
- десятилетие
- поставка
- развертывание
- Проект
- различный
- Интернет
- Документация
- легко
- эффект
- огромный
- Предприятие
- существенный
- пример
- опыт
- опыта
- Особенность
- Обратная связь
- финансовый
- финансовые услуги
- First
- после
- функциональность
- счастливый
- имеющий
- помогает
- Как
- How To
- HTTPS
- определения
- Личность
- осуществлять
- важную
- импортирующий
- В том числе
- Индия
- промышленности
- промышленность
- информация
- размышления
- интеграции.
- Интеллекта
- интерес
- КАТО
- Ирландия
- изоляция
- IT
- работа
- Джобс
- Основные
- язык
- запуск
- вести
- изучение
- линия
- Список
- расположение
- Лондон
- машина
- обучение с помощью машины
- управление
- Медиа
- Горнодобывающая промышленность
- ML
- модель
- Модели
- самых
- Самые популярные
- Мумбай
- натуральный
- Предложения
- Огайо
- заказ
- Орегон
- Другое
- Тихий океан
- партнер
- партнеры
- производительность
- фразы
- политика
- Популярное
- Основной
- проблемам
- процесс
- Продукт
- обеспечивать
- приводит
- быстро
- регуляторы
- обязательный
- Требования
- ресурс
- ответ
- Итоги
- Возвращает
- Отзывы
- Шкала
- Ученые
- SDK
- Сеул
- обслуживание
- Услуги
- Поделиться
- общие
- Акции
- Оболочка
- просто
- Сингапур
- So
- Решения
- РЕШАТЬ
- Начало
- заявление
- Статус:
- диск
- магазины
- Стратегический
- Стратегия
- поддержка
- Сидней
- цель
- команда
- Технический
- тестXNUMX
- Источник
- Через
- время
- сегодня
- Токио
- Обучение
- Тенденции
- созданного
- Обновление ПО
- us
- использование
- пользователей
- поставщики
- Вид
- Виргиния
- Web
- веб-сервисы
- запад
- КТО
- в
- без
- работает
- письмо
- лет