Amazon SageMaker JumpStart тепер пропонує блокноти Amazon Comprehend для спеціальної класифікації та виявлення власних об’єктів

«Амазонка» – це служба обробки природної мови (NLP), яка використовує машинне навчання (ML) для виявлення інформації з тексту. Amazon Comprehend надає спеціальні функції, розпізнавання індивідуальних сутностей, індивідуальна класифікація та попередньо навчені API наприклад вилучення ключових фраз, аналіз настроїв, розпізнавання сутностей тощо, щоб ви могли легко інтегрувати NLP у свої програми.

Нещодавно ми додали блокноти, пов’язані з Amazon Comprehend Amazon SageMaker JumpStart блокноти, які допоможуть вам швидко розпочати роботу з користувацьким класифікатором і розпізнавачем сутностей Amazon Comprehend. Ви можете використовувати спеціальну класифікацію, щоб упорядкувати документи за категоріями (класами), які ви визначаєте. Спеціальне розпізнавання об’єктів розширює можливості попередньо навченого API виявлення об’єктів Amazon Comprehend, допомагаючи вам ідентифікувати типи об’єктів, які є унікальними для вашого домену чи бізнесу, але не в попередньо встановленому загальному типи сутностей.

У цій публікації ми покажемо вам, як використовувати JumpStart для побудови спеціальної класифікації Amazon Comprehend і спеціальних моделей виявлення об’єктів як частину потреб вашого підприємства в NLP.

SageMaker JumpStart

Команда Студія Amazon SageMaker цільова сторінка надає можливість використовувати JumpStart. JumpStart забезпечує швидкий спосіб розпочати, надаючи попередньо підготовлені моделі для різних типів проблем. Ви можете навчати та налаштовувати ці моделі. JumpStart також надає інші ресурси, такі як блокноти, блоги та відео.

Блокноти JumpStart — це, по суті, зразок коду, який можна використовувати як відправну точку, щоб швидко розпочати роботу. Наразі ми надаємо вам понад 40 блокнотів, які ви можете використовувати як є або налаштувати за потреби. Ви можете знайти свої блокноти за допомогою пошуку або панелі перегляду з вкладками. Після того, як ви знайдете блокнот, який хочете використовувати, ви можете імпортувати блокнот, налаштувати його відповідно до своїх вимог і вибрати інфраструктуру та середовище для запуску блокнота.

Почніть роботу з блокнотами JumpStart

Щоб розпочати роботу з JumpStart, перейдіть до Amazon SageMaker консоль і відкрити Studio. Звертатися до Почніть роботу з SageMaker Studio щоб отримати інструкції щодо початку роботи зі Studio. Потім виконайте наступні дії:

1. У Studio перейдіть на сторінку запуску JumpStart і виберіть Перейдіть до SageMaker JumpStart.

Вам пропонується кілька способів пошуку. Ви можете скористатися вкладками вгорі, щоб знайти те, що вам потрібно, або скористатися полем пошуку, як показано на наступному знімку екрана.

2. Щоб знайти зошити, переходимо до Ноутбуки Вкладка.

На момент написання статті JumpStart пропонує 47 зошитів. Ви можете використовувати фільтри, щоб знайти блокноти, пов’язані з Amazon Comprehend.

3. на Тип вмісту виберіть спадне меню ноутбук.

Як ви можете бачити на наступному знімку екрана, зараз у нас є два ноутбуки Amazon Comprehend.

У наступних розділах ми досліджуємо обидва блокноти.

Спеціальний класифікатор Amazon Comprehend

У цьому блокноті ми демонструємо, як використовувати API спеціального класифікатора створити модель класифікації документів.

Спеціальний класифікатор — це повністю керована функція Amazon Comprehend, яка дає змогу створювати власні моделі класифікації тексту, унікальні для вашого бізнесу, навіть якщо ви маєте незначний досвід або зовсім не володієте знаннями в ML. Спеціальний класифікатор базується на існуючих можливостях Amazon Comprehend, які вже навчені на десятках мільйонів документів. Він абстрагує велику частину складності, необхідної для побудови моделі класифікації НЛП. Спеціальний класифікатор автоматично завантажує та перевіряє навчальні дані, вибирає правильні алгоритми ML, навчає вашу модель, знаходить оптимальні гіперпараметри, тестує модель і надає показники продуктивності моделі. Спеціальний класифікатор Amazon Comprehend також надає просту у використанні консоль для всього робочого процесу машинного навчання, включно з позначенням тексту за допомогою Основна правда Amazon SageMaker, навчання та розгортання моделі та візуалізація результатів тестування. За допомогою спеціального класифікатора Amazon Comprehend ви можете створити такі моделі:

• Багатокласова модель класифікації – У багатокласовій класифікації кожному документу може бути призначений один і тільки один клас. Окремі класи є взаємовиключними. Наприклад, фільм можна класифікувати як документальний або науково-фантастичний, але не обидва одночасно.
• Модель класифікації з кількома мітками – У класифікації з кількома мітками окремі класи представляють різні категорії, але ці категорії якимось чином пов’язані, а не виключають одна одну. У результаті кожен документ має принаймні один призначений клас, але може мати більше. Наприклад, фільм може бути просто бойовиком або одночасно бойовиком, науково-фантастичним фільмом і комедією.

Цей блокнот не потребує досвіду ML для навчання моделі на прикладі набору даних або набору даних для вашого власного бізнесу. Ви можете використовувати операції API, описані в цьому блокноті, у своїх власних програмах.

Amazon Custom Entity Recognizer

У цьому блокноті ми демонструємо, як використовувати користувацький API розпізнавання сутностей створити модель розпізнавання сутності.

Спеціальне розпізнавання об’єктів розширює можливості Amazon Comprehend, допомагаючи вам ідентифікувати ваші конкретні типи об’єктів, яких немає в попередньо встановлених загальних типах об’єктів. Це означає, що ви можете аналізувати документи та витягувати сутності, як-от коди продуктів або специфічні для бізнесу сутності, які відповідають вашим конкретним потребам.

Самостійне створення точного настроюваного розпізнувача сутностей може бути складним процесом, що потребує підготовки великих наборів навчальних документів із анотаціями вручну та вибору правильних алгоритмів і параметрів для навчання моделі. Amazon Comprehend допомагає зменшити складність, забезпечуючи автоматичні анотації та розробку моделі для створення спеціальної моделі розпізнавання об’єктів.

Приклад блокнота бере навчальний набір даних у форматі CSV і виконує висновок щодо введеного тексту. Amazon Comprehend також підтримує розширений сценарій використання, який використовує анотовані дані Ground Truth для навчання та дозволяє безпосередньо виконувати висновки щодо PDF-файлів і документів Word. Для отримання додаткової інформації див Створіть спеціальний засіб розпізнавання об’єктів для документів PDF за допомогою Amazon Comprehend.

Amazon Comprehend знизив обмеження для анотацій і дозволив вам отримувати більш стабільні результати, особливо для невеликих фрагментів. Додаткову інформацію про це вдосконалення див Amazon Comprehend оголошує про нижчі обмеження анотацій для розпізнавання власних об’єктів.

Цей блокнот не потребує досвіду ML для навчання моделі на прикладі набору даних або набору даних для вашого власного бізнесу. Ви можете використовувати операції API, описані в цьому блокноті, у своїх власних програмах.

Використовуйте, налаштовуйте та розгортайте ноутбуки Amazon Comprehend JumpStart

Вибравши блокнот Amazon Comprehend, який хочете використовувати, виберіть Імпорт блокнота. Коли ви це зробите, ви побачите, як запускається ядро ​​ноутбука.

Імпорт вашого блокнота запускає вибір екземпляра блокнота, ядра та образу, який використовується для запуску блокнота. Після надання інфраструктури за замовчуванням ви можете змінити параметри відповідно до своїх вимог.

Тепер перегляньте контур блокнота й уважно прочитайте розділи про налаштування попередніх умов, налаштування даних, навчання моделі, запуск висновку та зупинку моделі. Ви можете налаштувати згенерований код відповідно до своїх потреб.

Виходячи з ваших вимог, ви можете налаштувати такі розділи:

• Дозволи – Для робочої програми ми рекомендуємо обмежити політики доступу лише до тих, які необхідні для запуску програми. Дозволи можна обмежити залежно від варіанту використання, наприклад навчання чи висновку, і конкретних імен ресурсів, наприклад повного Служба простого зберігання Amazon (Amazon S3) назва сегмента або шаблон імені сегмента S3. Ви також повинні обмежити доступ до спеціального класифікатора або операцій SageMaker лише до тих, які потрібні вашій програмі.
• Дані та місцезнаходження – Приклад блокнота містить зразки даних і розташування S3. Виходячи з ваших вимог, ви можете використовувати власні дані для навчання, перевірки та тестування, а також використовувати різні місця S3 за потреби. Так само, коли модель буде створено, ви можете зберегти її в різних місцях. Просто переконайтеся, що ви надали належні дозволи для доступу до сегментів S3.
• Етапи попередньої обробки – Якщо ви використовуєте різні дані для навчання та тестування, ви можете налаштувати етапи попередньої обробки відповідно до своїх вимог.
• Дані тестування – Ви можете принести власні дані висновків для тестування.
• Прибирати – Видаліть ресурси, запущені ноутбуком, щоб уникнути повторного стягнення плати.

Висновок

У цій публікації ми показали вам, як використовувати JumpStart для навчання та швидкого використання API Amazon Comprehend, спрощуючи пошук і запуск пов’язаних з Amazon блокнотів із Studio, маючи можливість змінювати код за потреби. Блокноти використовують зразки наборів даних із оголошеннями про продукти AWS і зразками статей новин. Ви можете використати цей блокнот, щоб дізнатися, як використовувати API Amazon Comprehend у блокноті Python, або ви можете використати його як відправну точку та розширити код відповідно до ваших унікальних вимог і виробничих розгортань.

Ви можете почати використовувати JumpStart і скористатися перевагами понад 40 блокнотів на різні теми в усіх регіонах, де Studio доступна без додаткової плати.

---

Про авторів

Лана Чжан є старшим архітектором рішень у команді AWS WWSO AI Services із досвідом у сфері ШІ та машинного навчання для модерації та розпізнавання вмісту. Вона захоплена просуванням послуг штучного інтелекту AWS і допомогою клієнтам трансформувати їхні бізнес-рішення.

Мінакшісундарам Тандавараян є старшим фахівцем зі штучного інтелекту та ML в AWS. Він допомагає високотехнологічним стратегічним обліковим записам у їхній подорожі AI та ML. Він дуже захоплений штучним інтелектом на основі даних

Рачна Чадха є головним архітектором рішень AI/ML у Strategic Accounts в AWS. Рахна — оптиміст, який вірить, що етичне та відповідальне використання ШІ може покращити суспільство в майбутньому та принести економічне та соціальне процвітання. У вільний час Рачна любить проводити час з сім'єю, гуляти в походах і слухати музику.