Технологічні тенденції та прогрес цифрових медіа за останнє десятиліття чи близько того призвели до поширення текстових даних. Потенційні переваги видобутку цього тексту для отримання інформації, як тактичної, так і стратегічної, величезні. Це називається обробкою природної мови (NLP). Ви можете використовувати NLP, наприклад, щоб проаналізувати свої відгуки про продукт на настрої клієнтів, навчити користувальницьку модель розпізнавання сутностей для визначення типів продуктів, що цікавлять, на основі коментарів клієнтів, або навчити спеціальну модель текстової класифікації для визначення найпопулярніших категорій продуктів.
«Амазонка» це NLP-сервіс із готовим інтелектом для отримання інформації про зміст документів. Він розвиває ідеї, розпізнаючи сутності, ключові фрази, мову, настрої та інші загальні елементи в документі. Amazon Comprehend Custom використовує автоматичне машинне навчання (Auto ML), щоб створювати моделі NLP від вашого імені, використовуючи ваші власні дані. Це дає змогу виявляти унікальні сутності для вашого бізнесу або класифікувати текст чи документи відповідно до ваших вимог. Крім того, ви можете автоматизувати весь робочий процес NLP за допомогою простих у використанні API.
Сьогодні ми раді оголосити про запуск функції копіювання користувацьких моделей Amazon Comprehend, яка дозволяє вам автоматично копіювати користувацькі моделі Amazon Comprehend із вихідного облікового запису в призначені цільові облікові записи в тому самому регіоні, не вимагаючи доступу до наборів даних, які моделює був навчений і оцінений на. З сьогоднішнього дня ви можете використовувати Консоль управління AWS, Інтерфейс командного рядка AWS (AWS CLI) або API boto3 (Python SDK для AWS), щоб скопіювати навчені спеціальні моделі з вихідного облікового запису в призначений цільовий обліковий запис. Ця нова функція доступна як для спеціальної класифікації Amazon Comprehend, так і для спеціальних моделей розпізнавання об’єктів.
Переваги функції копіювання моделі
Ця нова функція має такі переваги:
- Стратегія MLOps для кількох облікових записів – Навчіть модель один раз і забезпечте передбачуване розгортання в кількох середовищах у різних облікових записах.
- Швидше розгортання – Ви можете швидко копіювати навчену модель між обліковими записами, уникаючи часу, необхідного для повторного навчання в кожному обліковому записі.
- Захист конфіденційних наборів даних – Тепер вам більше не потрібно ділитися наборами даних між різними обліковими записами або користувачами. Дані про навчання мають бути доступні лише в обліковому записі, де проводиться навчання. Це дуже важливо для певних галузей, як-от фінансових послуг, де ізоляція даних і пісочниця є важливими для виконання нормативних вимог.
- Легка співпраця – Партнери або постачальники тепер можуть легко навчатися Amazon Comprehend Custom і ділитися моделями зі своїми клієнтами.
Як працює копія моделі
Завдяки новій функції копіювання моделі ви можете копіювати користувацькі моделі між обліковими записами AWS в одному регіоні в два етапи. По-перше, користувач в одному обліковому записі AWS (обліковий запис A) ділиться спеціальною моделлю, яка є в його обліковому записі. Потім користувач іншого облікового запису AWS (облікового запису B) імпортує модель у свій обліковий запис.
Поділіться моделлю
Щоб поділитися спеціальною моделлю в обліковому записі A, користувач прикріплює Управління ідентифікацією та доступом AWS (IAM) політика на основі ресурсів до версії моделі. Ця політика дозволяє особі в обліковому записі B, наприклад користувачу або ролі IAM, імпортувати версію моделі в Amazon Comprehend у своєму обліковому записі AWS. Ви можете налаштувати політику на основі ресурсів або через консоль, або за допомогою настроюваної програми Amazon Comprehend PutResourcePolicy
API.
Імпорт моделі
Щоб імпортувати модель до облікового запису B, користувач цього облікового запису надає Amazon Comprehend необхідні відомості, як-от назву ресурсу Amazon (ARN) моделі. Коли вони імпортують модель, цей користувач створює нову спеціальну модель у своєму обліковому записі AWS, яка повторює модель, яку він імпортував. Ця модель повністю навчена та готова до виконання завдань, таких як класифікація документів або розпізнавання іменованих об’єктів. Якщо модель зашифровано за допомогою Служба управління ключами AWS (AWS KMS) у джерелі, тоді роль служби, указана під час імпорту моделі, повинна мати доступ до ключа KMS, щоб розшифрувати модель під час імпорту. Цільовий обліковий запис також може вказати ключ KMS для шифрування моделі під час імпорту. Імпорт спільної моделі також доступний як на консолі, так і як API.
Огляд рішення
Щоб продемонструвати функціональність функції копіювання моделі, ми покажемо вам, як навчити, поділитися та імпортувати спеціальну модель розпізнавання об’єктів Amazon Comprehend за допомогою консолі Amazon Comprehend і AWS CLI. Для цієї демонстрації ми використовуємо два різні облікові записи. Ці кроки також застосовуються до спеціальної класифікації Amazon Comprehend. Необхідні кроки такі:
- Навчіть спеціальну модель розпізнавання об’єктів Amazon Comprehend у вихідному обліковому записі.
- Визначте політику ресурсів IAM для навченої моделі, щоб дозволити доступ між обліковими записами.
- Скопіюйте навчену модель із вихідного облікового запису в цільовий обліковий запис.
- Перевірте скопійовану модель за допомогою пакетного завдання.
Навчіть спеціальну модель розпізнавання об’єктів Amazon Comprehend у вихідному обліковому записі
Першим кроком є навчання спеціальної моделі розпізнавання об’єктів Amazon Comprehend у вихідному обліковому записі. Як вхідний набір даних для навчання ми використовуємо CSV список суб'єктів та документи про навчання для розпізнавання пропозицій послуг AWS у певному документі. Переконайтеся, що список організацій і навчальні документи знаходяться в Служба простого зберігання Amazon (Amazon S3) у вихідному обліковому записі. Інструкції див Додавання документів до Amazon S3.
Створіть роль IAM для Amazon Comprehend і надати необхідний доступ до сегмента S3 із навчальними даними. Зверніть увагу на шляхи сегментів ARN і S3 для використання на наступних кроках.
Навчіть модель за допомогою AWS CLI
Створіть засіб розпізнавання сутностей за допомогою такої команди AWS CLI. Замініть свої параметри для шляхів S3, ролі IAM і регіону. Відповідь повертає назад EntityRecognizerArn
.
Статус навчального завдання можна контролювати, викликавши describe-entity-recognizer і перевіривши Status у відповіді.
Навчіть модель через консоль
Щоб навчити модель за допомогою консолі, виконайте такі дії:
- На консолі Amazon Comprehend під настройка, створити нову спеціальну модель розпізнавання сутностей.
- Вкажіть назву моделі та версію.
- для Languageвиберіть англ.
- для Спеціальний тип сутності, додати
AWS_OFFERING
.
Щоб навчити спеціальну модель розпізнавання об’єктів, ви можете вибрати один із двох способів надання даних Amazon Comprehend: анотації or списки сутностей. Для простоти використовуйте метод списку сутностей.
- для Формат данихвиберіть Файл CSV.
- для Тип навчаннявиберіть Використання списку об’єктів та навчальних документів.
- Надайте шляхи розташування S3 для CSV списку об’єктів і даних навчання.
- Щоб надати дозволи Amazon Comprehend на доступ до сегмента S3, створіть роль, пов’язану зі службою IAM.
У Політика, орієнтована на ресурси ви можете дозволити доступ до версії моделі. Облікові записи, до яких ви надаєте доступ, можуть імпортувати цю модель у свій обліковий запис. Наразі ми пропускаємо цей крок і додаємо політику після того, як модель навчена, і ми задоволені продуктивністю моделі.
- Вибирати Створювати.
Це надсилає ваш настроюваний засіб розпізнавання сутностей, який перевіряє кілька моделей, налаштовує ваші гіперпараметри та перевіряє перехресну перевірку, щоб переконатися, що ваша модель надійна. Це все та сама діяльність, яку виконують науковці даних.
Визначте політику ресурсів IAM для навченої моделі, щоб дозволити доступ між обліковими записами
Коли ми будемо задоволені ефективністю навчання, ми можемо продовжити та поділитися конкретною версією моделі, додавши політику ресурсів.
Додайте політику на основі ресурсів із AWS CLI
Авторизуйте імпорт моделі з цільового облікового запису, додавши політику ресурсів до моделі, як показано в наступному коді. Політику можна тісно прив’язати до певної версії моделі та цільового принципала. Замініть свій навчений розпізнавач об’єктів ARN і цільовий обліковий запис, щоб надати доступ.
Додайте політику на основі ресурсів через консоль
Після завершення навчання створюється версія моделі розпізнавання сутностей. Ми можемо вибрати навчену модель і версію, щоб переглянути деталі навчання, включаючи продуктивність навченої моделі.
Щоб оновити політику, виконайте такі дії:
- на Теги, VPC та політика відредагуйте політику на основі ресурсів.
- Укажіть назву політики, принципала служби Amazon Comprehend (
comprehend.amazonaws.com
), ідентифікатор цільового облікового запису та користувачів IAM у цільовому обліковому записі, які мають право імпортувати версію моделі.
Уточнюємо root
як об’єкт IAM для авторизації всіх користувачів цільового облікового запису.
Скопіюйте навчену модель із вихідного облікового запису в цільовий обліковий запис
Тепер модель навчена та надіслана з вихідного облікового запису. Авторизований користувач цільового облікового запису може імпортувати модель і створити копію моделі у своєму власному обліковому записі.
Щоб імпортувати модель, вам потрібно вказати вихідну модель ARN і роль служби для Amazon Comprehend, щоб виконати дію копіювання у вашому обліковому записі. Ви можете вказати додатковий ідентифікатор AWS KMS для шифрування моделі у вашому цільовому обліковому записі.
Імпортуйте модель через AWS CLI
Щоб імпортувати свою модель за допомогою AWS CLI, введіть такий код:
Імпортуйте модель через консоль
Щоб імпортувати модель через консоль, виконайте такі дії:
- На консолі Amazon Comprehend під Власне розпізнавання сутностейвиберіть Імпортована версія.
- для Версія моделі ARN, введіть ARN для моделі, навченої у вихідному обліковому записі.
- Введіть назву моделі та версію для цілі.
- Надайте роль облікового запису служби та виберіть підтвердити щоб розпочати процес імпорту моделі.
Після зміни статусу моделі на Imported
, ми можемо переглядати деталі моделі, включаючи деталі продуктивності навченої моделі.
Перевірте скопійовану модель за допомогою пакетного завдання
Ми перевіряємо скопійовану модель у цільовому обліковому записі, виявляючи спеціальні сутності за допомогою пакетного завдання. Щоб протестувати модель, завантажте тестовий файл і помістіть його у відро S3 у вашому цільовому обліковому записі. Створіть роль IAM для Amazon Comprehend і надайте необхідний доступ до сегмента S3 із тестовими даними. Ви використовуєте шляхи сегментів ролей ARN і S3, які ви зазначили раніше.
Коли завдання буде завершено, ви можете перевірити дані висновків у вказаному вихідному сегменті S3.
Перевірте модель за допомогою AWS CLI
Щоб протестувати модель за допомогою AWS CLI, введіть наступний код:
Протестуйте модель через консоль
Щоб протестувати модель через консоль, виконайте наступні кроки:
- На консолі Amazon Comprehend виберіть Роботи з аналізу І вибирай Створити роботу.
- для ІМ'Я, введіть назву роботи.
- для Тип аналізу¸ вибрати Власне розпізнавання сутностей.
- Виберіть назву моделі та версію імпортованої моделі.
- Укажіть шляхи S3 для тестового файлу для завдання та місце виведення, де Amazon Comprehend зберігає результат.
- Виберіть або створіть роль IAM із дозволом на доступ до сегментів S3.
- Вибирати Створити роботу.
Коли ваше завдання аналізу завершено, ви маєте файли JSON у своєму вихідному каналі S3, який ви можете завантажити, щоб перевірити результати розпізнавання сутності з імпортованої моделі.
Висновок
У цій публікації ми продемонстрували функцію копіювання користувацької моделі сутності Amazon Comprehend. Ця функція дає вам можливість навчити спеціальну модель розпізнавання або класифікації об’єктів Amazon Comprehend в одному обліковому записі, а потім надати спільний доступ до цієї моделі іншому обліковому запису в тому ж регіоні. Це спрощує стратегію з декількома обліковими записами, де модель можна навчити одноразово та надати спільний доступ між обліковими записами в одному регіоні без необхідності повторного навчання або спільного використання навчальних наборів даних. Це дозволяє передбачити розгортання в кожному обліковому записі як частину робочого процесу MLOps. Для отримання додаткової інформації перегляньте нашу документацію щодо Зрозумійте власну копіюабо спробуйте покрокове керівництво в цій публікації через консоль або за допомогою хмарної оболонки з AWS CLI.
На момент написання цієї статті функція копіювання моделі в Amazon Comprehend доступна в таких регіонах:
- Схід США (Огайо)
- Схід США (Н. Вірджинія)
- Захід США (Орегон)
- Азіатсько-Тихоокеанський регіон (Мумбаї)
- Азіатсько-Тихоокеанський регіон (Сеул)
- Азіатсько-Тихоокеанський регіон (Сінгапур)
- Азіатсько-Тихоокеанський регіон (Сідней)
- Азіатсько-Тихоокеанський регіон (Токіо)
- ЄС (Франкфурт)
- ЄС (Ірландія)
- ЄС (Лондон)
- AWS GovCloud (США-Захід)
Спробуйте цю функцію та надішліть нам відгук через Форум AWS для Amazon Comprehend або через звичайні контакти служби підтримки AWS.
Про авторів
Премкумар Рангараджан є архітектором рішень AI/ML в Amazon Web Services і раніше був автором книги «Обробка природної мови за допомогою AI-сервісів AWS». Він має 26-річний досвід роботи в ІТ-індустрії на різних посадах, включаючи керівника доставки, спеціаліста з інтеграції та архітектора підприємства. Він допомагає підприємствам будь-якого розміру застосовувати штучний інтелект і машинне навчання для вирішення їхніх реальних проблем.
Четан Крішна є старшим архітектором партнерських рішень в Індії. Він співпрацює зі стратегічними партнерами AWS для створення надійної хмарної компетенції, запровадження найкращих практик AWS та вирішення проблем клієнтів. Він будівельник і любить експериментувати з AI/ML, IoT та аналітикою.
Шріхарша М.С є спеціалістом з розробки рішень AI/ML у команді стратегічних спеціалістів Amazon Web Services. Він працює зі стратегічними клієнтами AWS, які використовують переваги AI/ML для вирішення складних бізнес-проблем. Він надає технічні вказівки та поради щодо дизайну для масштабного впровадження додатків AI/ML. Його досвід охоплює архітектуру додатків, великі дані, аналітику та машинне навчання.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- МЕНЮ
- доступ
- рахунки
- дію
- діяльності
- досягнення
- Перевага
- рада
- AI
- Послуги ШІ
- ВСІ
- Amazon
- Amazon Web Services
- аналіз
- аналітика
- Оголосити
- Оголошуючи
- Інший
- API
- Інтерфейси
- застосовно
- додаток
- застосування
- архітектура
- автоматичний
- доступний
- AWS
- Переваги
- КРАЩЕ
- передового досвіду
- border
- будувати
- будівельник
- бізнес
- проблеми
- контроль
- Перевірки
- класифікація
- хмара
- код
- коментарі
- загальний
- комплекс
- Консоль
- зміст
- Клієнти
- дані
- десятиліття
- доставка
- розгортання
- дизайн
- різний
- цифровий
- документація
- легко
- ефект
- величезний
- підприємство
- істотний
- приклад
- досвід
- експертиза
- особливість
- зворотний зв'язок
- фінансовий
- фінансові послуги
- Перший
- після
- функціональність
- щасливий
- має
- допомагає
- Як
- How To
- HTTPS
- ідентифікувати
- Особистість
- здійснювати
- важливо
- імпорт
- У тому числі
- Індію
- промисловості
- промисловість
- інформація
- розуміння
- інтеграція
- Інтелект
- інтерес
- КАТО
- Ірландія
- ізоляція
- IT
- робота
- Джобс
- ключ
- мова
- запуск
- вести
- вивчення
- Лінія
- список
- розташування
- Лондон
- машина
- навчання за допомогою машини
- управління
- Медіа
- Mining
- ML
- модель
- Моделі
- найбільш
- Найбільш популярний
- Мумбаї
- Природний
- Пропозиції
- Огайо
- порядок
- Орегон
- Інше
- Тихий океан
- партнер
- партнери
- продуктивність
- фрази
- політика
- популярний
- Головний
- проблеми
- процес
- Product
- забезпечувати
- забезпечує
- швидко
- регуляторні
- вимагається
- Вимога
- ресурс
- відповідь
- результати
- Умови повернення
- Відгуки
- шкала
- Вчені
- Sdk
- Сеул
- обслуговування
- Послуги
- Поділитись
- загальні
- акції
- Склад
- простий
- Сінгапур
- So
- Рішення
- ВИРІШИТИ
- старт
- Заява
- Статус
- зберігання
- магазинів
- Стратегічний
- Стратегія
- підтримка
- Сідней
- Мета
- команда
- технічний
- тест
- Джерело
- через
- час
- сьогодні
- Токіо
- Навчання
- Тенденції
- створеного
- Оновити
- us
- використання
- користувачі
- постачальники
- вид
- Віргінія
- Web
- веб-сервіси
- West
- ВООЗ
- в
- без
- працює
- лист
- років