Получайте данные производственного уровня быстрее, используя новые встроенные интерфейсы с Amazon SageMaker Ground Truth Plus.

Запущен на AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus помогает создавать высококачественные наборы обучающих данных, избавляясь от монотонной тяжелой работы, связанной с созданием приложений для маркировки данных и управлением персоналом, выполняющим маркировку. Все, что вы делаете, — это делитесь данными вместе с требованиями к маркировке, а Ground Truth Plus настраивает рабочий процесс маркировки данных и управляет им на основе этих требований. Оттуда квалифицированная рабочая сила, обученная различным задачам машинного обучения (ML), маркирует ваши данные. Чтобы использовать Ground Truth Plus, вам даже не нужны глубокие знания в области машинного обучения или знания в области проектирования рабочих процессов и управления качеством.

Сегодня мы рады объявить о запуске новых встроенных интерфейсов в Ground Truth Plus. Благодаря этой новой возможности несколько пользователей Ground Truth Plus теперь могут создавать новые Проект и партия, обмениваться данными и получать данные, используя одну и ту же учетную запись AWS через интерфейсы самообслуживания. Это позволяет ускорить разработку высококачественных обучающих наборов данных за счет сокращения времени подготовки проекта. Кроме того, вы можете управлять точным доступом к своим данным, Управление идентификацией и доступом AWS (IAM) разрешения роли, соответствующие вашему индивидуальному уровню Простой сервис хранения Amazon (Amazon S3), и у вас всегда есть возможность отозвать доступ к определенным корзинам.

До сих пор вам приходилось обращаться к своему менеджеру программы Ground Truth Plus (OPM), чтобы создать новую маркировку данных. проектов и партии. У этого процесса были некоторые ограничения, поскольку он позволял только одному пользователю запрашивать новый проект и пакет — если несколько пользователей в организации использовали одну и ту же учетную запись AWS, то только один пользователь мог запросить новый проект маркировки данных и пакет с помощью Ground Truth Plus. приставка. Кроме того, этот процесс создавал искусственные задержки при запуске процесса маркировки из-за множества ручных точек взаимодействия и устранения неполадок, необходимых в случае возникновения проблем. По отдельности все проекты использовали одну и ту же роль IAM для доступа к данным. Таким образом, для запуска проектов и пакетов, которым требовался доступ к различным источникам данных, таким как разные корзины Amazon S3, вам приходилось полагаться на OPM Ground Truth Plus для предоставления политик S3, специфичных для вашей учетной записи, которые вам приходилось вручную применять к своим корзинам S3. Вся эта операция требовала интенсивного ручного труда, что приводило к операционным накладным расходам.

В этом посте описаны шаги по созданию нового проекта и пакетной обработки, обмену данными и получению данных с использованием новых интерфейсов самообслуживания для эффективного запуска процесса маркировки. Этот пост предполагает, что вы знакомы с Ground Truth Plus. Для получения дополнительной информации см. Amazon SageMaker Ground Truth Plus — создавайте обучающие наборы данных без кода или собственных ресурсов.

Обзор решения

Мы демонстрируем, как сделать следующее:

• Обновите существующие проекты
• Запросить новый проект
• Создайте проектную команду
• Создать партию

Предпосылки

Перед тем как начать, убедитесь, что у вас есть следующие предпосылки:

• An Аккаунт AWS
• Пользователь IAM с доступом для создания ролей IAM
• Ассоциация URI-адрес Amazon S3 корзины, в которой хранятся ваши объекты маркировки

Обновите существующие проекты

Если у вас есть проект Ground Truth Plus до запуска (9 декабря 2022 г.) новых функций, описанных в этом посте, вам необходимо создать роль IAM и поделиться ею, чтобы вы могли использовать эти функции в своем существующем проекте Ground Truth Plus. . Если вы новый пользователь Ground Truth Plus, вы можете пропустить этот раздел.

Чтобы создать роль IAM, выполните следующие действия:

1. На консоли IAM выберите Создать роль.
2. Выберите Пользовательская политика доверия.
3. Укажите следующие доверительные отношения для роли:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Выберите Следующая.
5. Выберите Создать политику.
6. На вкладке JSON укажите следующую политику. Обновите свойство Resource, указав две записи для каждой корзины: одну только с ARN корзины, а другую с ARN корзины, за которой следует /*. Например, заменить arn:aws:s3:::my-bucket/myprefix/ и /* arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Выберите Далее: Теги и Далее: Обзор.
8. Введите имя политики и необязательное описание.
9. Выберите Создать политику.
10. Закройте эту вкладку и вернитесь на предыдущую вкладку, чтобы создать свою роль.

На вкладке «Добавить разрешения» вы должны увидеть созданную вами новую политику (обновите страницу, если вы ее не видите).

11. Выберите только что созданную политику и выберите Следующая.
12. Введите имя (например, GTPlusExecutionRole) и, возможно, описание роли.
13. Выберите Создать роль.
14. Предоставьте роль ARN вашему OPM Ground Truth Plus, который затем обновит ваш существующий проект этой вновь созданной ролью.

Запросить новый проект

Чтобы запросить новый проект, выполните следующие действия:

1. На Консоль Ground Truth Plus, перейдите к Проекты .

Здесь перечислены все ваши проекты.

2. Выберите Запросить проект.

Ассоциация Запросить проект страница — это ваша возможность предоставить подробную информацию, которая поможет нам запланировать первоначальный консультационный звонок и настроить ваш проект.

3. Помимо указания общей информации, такой как название и описание проекта, необходимо указать тип задачи проекта и указать, содержит ли она личную информацию (PII).

Чтобы пометить ваши данные, Ground Truth Plus требуется временный доступ к вашим необработанным данным в корзине S3. Когда процесс маркировки завершен, Ground Truth Plus возвращает результат маркировки обратно в корзину S3. Это делается с помощью роли IAM. Вы можете либо создать новую роль, либо перейти к консоли IAM, чтобы создать новую роль (см. инструкции в предыдущем разделе).

4. Если вы решите создать роль, выберите Введите персонализированную роль IAM ARN и введите ARN своей роли IAM в формате arn:aws:iam:::role/.
5. Чтобы использовать встроенный инструмент, в раскрывающемся меню под Роль IAM, выберите Создать новую роль.
6. Укажите расположение корзины для ваших данных маркировки. Если вы не знаете, где находятся ваши данные маркировки, или у вас нет загруженных данных маркировки, выберите Любое ведро S3, что даст Ground Truth Plus доступ ко всем сегментам вашей учетной записи.
7. Выберите Создавай для создания роли.

Ваша роль в IAM позволит Ground Truth Plus, обозначенному как sagemaker-ground-truth-plus.amazonaws.com в роли политика доверия, чтобы выполнить следующие действия с корзинами S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Выберите Запросить проект чтобы завершить запрос.

OPM Ground Truth Plus назначит вам первичную консультацию, чтобы обсудить ваши требования к проекту маркировки данных и цены.

Создайте проектную команду

После того, как вы запросите проект, вам необходимо создать команду проекта, чтобы войти на портал вашего проекта. Команда проекта предоставляет доступ участникам из вашей организации или команды для отслеживания проектов, просмотра показателей и проверки меток. Вы можете использовать опцию Пригласить новых участников по электронной почте or Импорт участников из существующих Амазон Когнито группы пользователей. В этом посте мы покажем, как импортировать участников из существующих Амазон Когнито группы пользователей, чтобы добавить пользователей в команду вашего проекта.

1. На Консоль Ground Truth Plus, перейдите к Проектная группа .
2. Выберите Создать команду проекта.
3. Выберите Импортируйте участников из существующих групп пользователей Amazon Cognito.
4. Выберите пул пользователей Amazon Cognito.

Для пулов пользователей требуется домен и существующая группа пользователей.

5. Выберите клиент приложения.

Мы рекомендуем использовать клиент, сгенерированный Создатель мудреца Амазонки.

6. Выберите группу пользователей из своего пула, чтобы импортировать участников.
7. Выберите Создать команду проекта.
   

Вы можете добавить больше членов команды после создания команды проекта, выбрав Пригласить новых участников на Участники странице консоли Ground Truth Plus.

Создать партию

После того, как вы успешно отправили запрос на проект и создали команду проекта, вы можете получить доступ к порталу проекта Ground Truth Plus, щелкнув Портал открытых проектов на консоли Ground Truth Plus.

Вы можете использовать портал проекта для создания пакетов для проекта, но только после того, как статус проекта изменится на Request approved.

1. Просмотрите сведения о проекте и пакетах, выбрав имя проекта.
   Откроется страница с названием проекта.
2. В Порции раздел, выбрать Создать партию.
   
3. Введите имя пакета и необязательное описание.
4. Введите местоположения S3 входных и выходных наборов данных.

Для успешного создания пакета необходимо выполнить следующие требования:

4. • Корзина S3 и префикс должны существовать, а общее количество файлов должно быть больше 0.
   • Общее количество объектов должно быть менее 10,000 XNUMX
   • Размер каждого объекта должен быть меньше 2 ГБ.
   • Общий размер всех объединенных объектов составляет менее 100 ГБ.
   • Роль IAM, предоставленная для создания проекта, имеет разрешение на доступ к входной корзине, выходной корзине и файлам S3, которые используются для создания пакета.
   • Файлы в указанном расположении S3 для входных наборов данных не должны быть зашифрованы Служба управления ключами AWS (АМС КМС)
5. Выберите Отправить.

Статус вашей партии будет отображаться как Request submitted. После того как Ground Truth Plus получит временный доступ к вашим данным, специалисты AWS настроят рабочие процессы маркировки данных и будут управлять ими от вашего имени, что изменит статус пакета на In-progress. Когда маркировка завершена, статус партии меняется с In-progress в Ready for review. Если вы хотите просмотреть свои ярлыки перед их получением, выберите Просмотрите партию. Оттуда у вас есть возможность выбрать Принять партию чтобы получить ваши помеченные данные.

Заключение

В этом посте показано, как несколько пользователей Ground Truth Plus теперь могут создавать новый проект и пакет, обмениваться данными и получать данные, используя одну и ту же учетную запись AWS через новые интерфейсы самообслуживания. Эта новая возможность позволяет быстрее запускать проекты по этикетированию и снижает эксплуатационные расходы. Мы также продемонстрировали, как вы можете контролировать детализированный доступ к данным, устанавливая разрешения вашей роли IAM в соответствии с вашим индивидуальным уровнем доступа.

Мы рекомендуем вам опробовать эту новую функцию и связаться с Сообщество машинного обучения и искусственного интеллекта если у вас есть какие-либо вопросы или отзывы!

Об авторах

Маниш Гоэль является менеджером по продукту Amazon SageMaker Ground Truth Plus. Он сосредоточен на создании продуктов, которые облегчают клиентам внедрение машинного обучения. В свободное время любит путешествовать и читать книги.

Картик Гандури является инженером по разработке программного обеспечения в Amazon AWS, где он работает над созданием инструментов машинного обучения для клиентов и внутренних решений. Вне работы он любит щелкать картинки.  

Чжулин Бай является инженером по разработке программного обеспечения в Amazon AWS. Она занимается разработкой крупномасштабных распределенных систем для решения задач машинного обучения.

Аатеф Баранси работает фронтенд-инженером в Amazon AWS. Он пишет быстрое, надежное и тщательно протестированное программное обеспечение для разработки и развития самых передовых приложений искусственного интеллекта в отрасли.

Мохаммад Аднан является старшим инженером по искусственному интеллекту и машинному обучению в AWS. Он участвовал в запуске многих сервисов AWS, в частности Amazon Lookout for Metrics и AWS Panorama. В настоящее время он сосредоточен на предложениях AWS для человека в цикле (AWS SageMaker’s Ground Truth, Ground Truth Plus и Augmented AI). Он сторонник чистого кода и эксперт по бессерверной и событийно-ориентированной архитектуре. Вы можете следить за ним в LinkedIn, mohammad-adnan-6a99a829.