Швидше отримуйте дані продуктивного рівня за допомогою нових вбудованих інтерфейсів Amazon SageMaker Ground Truth Plus

Запущено на AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus допомагає створювати високоякісні навчальні набори даних, усуваючи недиференційовану важку роботу, пов’язану зі створенням додатків для маркування даних і керування робочою силою з маркування. Все, що ви робите, це обмінюватися даними разом із вимогами до маркування, а Ground Truth Plus налаштовує та керує вашим робочим процесом маркування даних на основі цих вимог. Звідти експертна робоча сила, навчена виконувати різноманітні завдання машинного навчання (ML), позначає ваші дані. Щоб використовувати Ground Truth Plus, вам навіть не потрібен глибокий досвід ML або знання проектування робочого процесу та управління якістю.

Сьогодні ми раді оголосити про запуск нових вбудованих інтерфейсів на Ground Truth Plus. Завдяки цій новій можливості кілька користувачів Ground Truth Plus тепер можуть створювати новий проект та  партія, обмінюватися даними та отримувати дані, використовуючи той самий обліковий запис AWS через інтерфейси самообслуговування. Це дає змогу прискорити розробку високоякісних навчальних наборів даних за рахунок скорочення часу налаштування проекту. Крім того, ви можете контролювати точний доступ до своїх даних, визначаючи область Управління ідентифікацією та доступом AWS (IAM) дозволи ролі, які відповідають вашому індивідуальному рівню Служба простого зберігання Amazon (Amazon S3), і у вас завжди є можливість скасувати доступ до певних сегментів.

Досі вам доводилося звертатися до менеджера операційної програми Ground Truth Plus (OPM), щоб створити нове маркування даних проектів та партії. Цей процес мав певні обмеження, оскільки він дозволяв лише одному користувачеві запитувати новий проект і пакет — якщо кілька користувачів в організації використовували той самий обліковий запис AWS, тоді лише один користувач міг запитувати новий проект і пакет із маркуванням даних за допомогою Ground Truth Plus консоль. Крім того, цей процес створював штучні затримки в запуску процесу маркування через численні ручні контактні точки та усунення несправностей, необхідних у разі виникнення проблем. Окремо всі проекти використовували ту саму роль IAM для доступу до даних. Таким чином, для запуску проектів і пакетів, яким потрібен доступ до різних джерел даних, таких як різні сегменти Amazon S3, вам довелося покладатися на Ground Truth Plus OPM, щоб надати правила S3 для вашого облікового запису, які вам потрібно було вручну застосувати до сегментів S3. Уся ця операція була інтенсивною вручну, що призвело до операційних накладних витрат.

Ця публікація допоможе вам створити новий проект і пакет, надати спільний доступ до даних і отримати дані за допомогою нових інтерфейсів самообслуговування для ефективного запуску процесу маркування. Ця публікація передбачає, що ви знайомі з Ground Truth Plus. Для отримання додаткової інформації див Amazon SageMaker Ground Truth Plus – створюйте навчальні набори даних без коду чи внутрішніх ресурсів.

Огляд рішення

Ми демонструємо, як зробити наступне:

• Оновити існуючі проекти
• Запит на новий проект
• Створіть команду проекту
• Створити партію

Передумови

Перш ніж почати, переконайтеся, що у вас є такі передумови:

• An Обліковий запис AWS
• Користувач IAM із доступом до створення ролей IAM
• Команда Amazon S3 URI відра, де зберігаються ваші об’єкти маркування

Оновити існуючі проекти

Якщо у вас є проект Ground Truth Plus до запуску (9 грудня 2022 р.) нових функцій, описаних у цій публікації, вам потрібно створити роль IAM і надати спільний доступ до неї, щоб ви могли використовувати ці функції з наявним проектом Ground Truth Plus. . Якщо ви новий користувач Ground Truth Plus, ви можете пропустити цей розділ.

Щоб створити роль IAM, виконайте такі дії:

1. На консолі IAM виберіть Створіть роль.
2. Select Спеціальна політика довіри.
3. Укажіть такі довірчі відносини для ролі:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Вибирати МАЙБУТНІ.
5. Вибирати Створити політику.
6. На вкладці JSON укажіть таку політику. Оновіть властивість ресурсу, вказавши два записи для кожного сегмента: один із лише сегментом ARN, а інший із сегментом ARN, після якого /*. Наприклад, замінити з arn:aws:s3:::my-bucket/myprefix/ та /* з arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Вибирати Далі: Теги та Далі: Огляд.
8. Введіть назву політики та необов’язковий опис.
9. Вибирати Створити політику.
10. Закрийте цю вкладку та поверніться до попередньої вкладки, щоб створити свою роль.

На вкладці «Додати дозволи» ви повинні побачити нову політику, яку ви створили (оновіть сторінку, якщо ви її не бачите).

11. Виберіть щойно створену політику та виберіть МАЙБУТНІ.
12. Введіть назву (наприклад, GTPlusExecutionRole) і, за бажанням, опис ролі.
13. Вибирати Створіть роль.
14. Надайте роль ARN своєму OPM Ground Truth Plus, який потім оновить ваш існуючий проект цією новоствореною роллю.

Запит на новий проект

Щоб подати запит на новий проект, виконайте такі дії:

1. на Консоль Ground Truth Plus, перейдіть до Завдання .

Тут перераховані всі ваші проекти.

2. Вибирати Запит проекту.

Команда Запит проекту сторінка — це ваша можливість надати деталі, які допоможуть нам запланувати першу консультацію та налаштувати ваш проект.

3. На додаток до вказівки загальної інформації, як-от назви та опису проекту, ви повинні вказати тип завдання проекту та чи містить він інформацію, що дозволяє ідентифікувати особу (PII).

Щоб позначити ваші дані, Ground Truth Plus потрібен тимчасовий доступ до ваших необроблених даних у сегменті S3. Після завершення процесу маркування Ground Truth Plus доставляє маркування назад у відро S3. Це робиться через роль IAM. Ви можете або створити нову роль, або перейти до консолі IAM, щоб створити нову роль (інструкції див. у попередньому розділі).

4. Якщо ви вирішили створити роль, виберіть Введіть спеціальну роль IAM ARN і введіть свою роль IAM ARN у форматі arn:aws:iam:::role/.
5. Щоб скористатися вбудованим інструментом, у спадному меню під Роль IAMвиберіть Створіть нову роль.
6. Укажіть розташування відра для даних маркування. Якщо ви не знаєте розташування своїх даних маркування або якщо у вас немає завантажених даних маркування, виберіть Будь-яке відро S3, який надасть Ground Truth Plus доступ до всіх сегментів вашого облікового запису.
7. Вибирати Створювати створити роль.

Ваша роль IAM дозволить Ground Truth Plus, визначеному як sagemaker-ground-truth-plus.amazonaws.com в ролі політика довіри, щоб виконати такі дії на ваших сегментах S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Вибирати Запит проекту щоб виконати запит.

Оперативний менеджер Ground Truth Plus запланує з вами першу консультаційну консультацію, щоб обговорити вимоги до вашого проекту маркування даних і ціни.

Створіть команду проекту

Після того, як ви надішлете запит на проект, вам потрібно створити команду проекту, щоб увійти на портал вашого проекту. Команда проекту надає доступ членам вашої організації чи команди для відстеження проектів, перегляду показників і перегляду міток. Можна скористатися опцією Запрошуйте нових учасників електронною поштою or Імпорт учасників із наявних Амазонка Когніто групи користувачів. У цій публікації ми покажемо, як імпортувати учасників із наявних Амазонка Когніто групи користувачів, щоб додати користувачів до команди проекту.

1. на Консоль Ground Truth Plus, перейдіть до Команда проекту .
2. Вибирати Створити команду проекту.
3. Вибирати Імпортуйте учасників із існуючих груп користувачів Amazon Cognito.
4. Виберіть групу користувачів Amazon Cognito.

Для пулів користувачів потрібен домен і наявна група користувачів.

5. Виберіть клієнт програми.

Ми рекомендуємо використовувати клієнт, створений Amazon SageMaker.

6. Виберіть групу користувачів зі свого пулу, щоб імпортувати учасників.
7. Вибирати Створити команду проекту.
   

Ви можете додати більше учасників команди після створення команди проекту, вибравши Запрошуйте нових учасників на члени сторінки консолі Ground Truth Plus.

Створити партію

Після успішного надсилання запиту на проект і створення команди проекту ви можете отримати доступ до порталу проекту Ground Truth Plus, натиснувши Відкрити портал проекту на консолі Ground Truth Plus.

Ви можете використовувати портал проекту для створення пакетів для проекту, але лише після зміни статусу проекту на Request approved.

1. Перегляньте деталі та пакети проекту, вибравши назву проекту.
   Відкриється сторінка з назвою проекту.
2. У Партії розділ, вибрати Створити партію.
   
3. Введіть назву партії та необов’язковий опис.
4. Введіть розташування S3 для вхідних і вихідних наборів даних.

Щоб забезпечити успішне створення пакета, ви повинні відповідати таким вимогам:

4. • Відро S3 і префікс повинні існувати, а загальна кількість файлів має бути більшою за 0
   • Загальна кількість об'єктів має бути менше 10,000 XNUMX
   • Розмір кожного об'єкта має бути менше 2 Гб
   • Загальний розмір усіх об’єктів разом становить менше 100 ГБ
   • Роль IAM, надана для створення проекту, має дозвіл на доступ до вхідного сегмента, вихідного сегмента та файлів S3, які використовуються для створення пакета
   • Файли в наданому місці S3 для вхідних наборів даних не повинні бути зашифровані Служба управління ключами AWS (AWS KMS)
5. Вибирати Надіслати.

Статус вашої партії відображатиметься як Request submitted. Після того як Ground Truth Plus отримає тимчасовий доступ до ваших даних, експерти AWS налаштують робочі процеси маркування даних і керуватимуть ними від вашого імені, що змінить статус пакета на In-progress. Після завершення маркування статус партії змінюється з In-progress до Ready for review. Якщо ви хочете переглянути свої етикетки, перш ніж отримати етикетки, виберіть Огляд партії. Звідти у вас є вибір Прийняти партію щоб отримати ваші позначені дані.

Висновок

Ця публікація показала, як кілька користувачів Ground Truth Plus тепер можуть створювати новий проект і пакет, обмінюватися даними та отримувати дані за допомогою одного облікового запису AWS через нові інтерфейси самообслуговування. Ця нова можливість дозволяє швидше запустити проекти маркування та зменшити накладні витрати. Ми також продемонстрували, як ви можете контролювати точний доступ до даних, визначаючи область дозволів своєї ролі IAM відповідно до вашого індивідуального рівня доступу.

Ми рекомендуємо вам випробувати цю нову функцію та зв’язатися з Спільнота машинного навчання та ШІ якщо у вас є запитання чи відгуки!

Про авторів

Маніш Гоел є менеджером із продуктів Amazon SageMaker Ground Truth Plus. Він зосереджений на створенні продуктів, які полегшують клієнтам впровадження машинного навчання. У вільний час він любить подорожі та читає книги.

Картік Гандурі є інженером із розробки програмного забезпечення в Amazon AWS, де він працює над створенням інструментів ML для клієнтів і внутрішніх рішень. Поза роботою він любить клацати фотографії.  

Чжулінг Бай є інженером із розробки програмного забезпечення в Amazon AWS. Вона працює над розробкою великомасштабних розподілених систем для вирішення проблем машинного навчання.

Аатеф Барансі є інженером Frontend в Amazon AWS. Він пише швидке, надійне та ретельно протестоване програмне забезпечення для розвитку та розвитку найсучасніших програм ШІ в галузі.

Мохаммад Аднан є старшим інженером AI та ML в AWS. Він брав участь у запуску багатьох сервісів AWS, зокрема Amazon Lookout for Metrics і AWS Panorama. Наразі він зосереджується на пропозиціях AWS, які працюють із людиною в циклі (AWS SageMaker Groundtrue, Groundtrue plus та Augmented AI). Він є прихильником чистого коду та фахівцем із безсерверної архітектури, керованої подіями. Ви можете слідкувати за ним на LinkedIn, mohammad-adnan-6a99a829.