Вирішуйте бізнес-проблеми наскрізно за допомогою машинного навчання в рішеннях Amazon SageMaker JumpStart

Amazon SageMaker JumpStart надає попередньо підготовлені моделі з відкритим вихідним кодом для широкого діапазону проблем, які допоможуть вам почати роботу з машинним навчанням (ML). JumpStart також надає шаблони рішень, які налаштовують інфраструктуру для поширених випадків використання, і виконувані приклади блокнотів для ML з Amazon SageMaker.

Як бізнес-користувач ви можете робити наступне з рішеннями JumpStart:

• Ознайомтеся з рішеннями та оцініть, які добре відповідають потребам вашого бізнесу.
• Запускайте рішення одним клацанням миші Студія Amazon SageMaker. Це запускає AWS CloudFormation шаблон для створення необхідних ресурсів.
• Змініть рішення відповідно до ваших потреб, маючи доступ до основного блокнота та ресурсів моделі.
• Після завершення видаліть отримані ресурси.

Ця публікація присвячена п’яти рішенням ML, які нещодавно були додані для вирішення п’яти різних бізнес-завдань. На момент написання цієї статті JumpStart пропонує 23 бізнес-рішення: від виявлення шахрайства у фінансових операціях до розпізнавання рукописного тексту. Кількість рішень, які пропонуються через JumpStart, регулярно збільшується, оскільки до нього додається більше рішень.

Огляд рішення

Нижче наведено п’ять нових рішень:

• Оптимізація цін – Пропонує настроювані моделі ML, які допоможуть вам прийняти оптимальні рішення щодо встановлення ціни вашого продукту чи послуги для досягнення вашої бізнес-цілі, як-от максимізація доходу, прибутку чи інших спеціальних показників.
• Прогноз видів птахів – Показує, як можна навчити та налаштувати модель виявлення об’єктів. Він демонструє налаштування моделі за допомогою доповнення навчального зображення та дає діаграми покращень точності, які відбуваються через ітерації (епохи) навчального завдання.
• Прогноз виживання при раку легенів – Показує, як можна передати 2D- і 3D-радіографічні функції та демографічні дані пацієнтів в алгоритм ML, щоб передбачити шанси пацієнта на виживання від раку легенів. Результати цього прогнозу можуть допомогти постачальникам вжити відповідних профілактичних заходів.
• Класифікація фінансових платежів – Демонструє, як навчити та розгорнути модель ML для класифікації фінансових операцій на основі інформації про транзакції. Ви також можете використовувати це рішення як проміжний крок у виявленні шахрайства, персоналізації або виявленні аномалій.
• Прогнозування відтоку клієнтів мобільних телефонів – Демонструє, як швидко розробити модель прогнозування відтоку за допомогою набору даних транзакцій мобільних дзвінків. Це простий приклад для користувачів, які не знайомі з машинним навчанням.

Передумови

Щоб використовувати ці рішення, переконайтеся, що у вас є доступ до Studio з роллю виконання, яка дозволяє запускати функції SageMaker. Для вашої ролі користувача в Studio переконайтеся, що Проекти SageMaker і JumpStart опція увімкнена.

У наступних розділах ми розглядаємо кожне з п’яти нових рішень і докладно обговорюємо, як воно працює, разом із деякими рекомендаціями щодо того, як ви можете використовувати його для потреб свого бізнесу.

Оптимізація ціни

Компанії люблять використовувати різноманітні важелі для досягнення найкращих результатів. Наприклад, ціна продукту чи послуги є важелем, який бізнес може контролювати. Питання полягає в тому, як вирішити, яку ціну встановити на продукт або послугу, щоб максимізувати бізнес-цілі, такі як прибуток або дохід.

Це рішення надає моделі ML, які можна налаштувати, щоб допомогти вам прийняти оптимальні рішення щодо встановлення ціни продукту чи послуги для досягнення поставленої мети, як-от максимізація доходу, прибутку чи інших спеціальних показників. Рішення використовує підходи машинного навчання та причинно-наслідкового висновку, щоб вивчати співвідношення ціна-обсяг на основі історичних даних, і може створювати динамічні цінові рекомендації в режимі реального часу для оптимізації призначених для користувача цільових показників.

На наступному знімку екрана показано зразок вхідних даних.

Рішення складається з трьох частин:

• Оцінка цінової еластичності – Це оцінюється шляхом причинного висновку за допомогою подвійного алгоритму ML
• Прогноз обсягу – Це прогнозується за допомогою алгоритму Prophet
• Оптимізація ціни – Це досягається шляхом симуляції «що-якщо» за допомогою різних цінових сценаріїв

Рішення надає рекомендовану ціну на наступний день для максимізації доходу. Крім того, вихідні дані включають оцінену цінову еластичність, яка є значенням, що вказує на вплив ціни на обсяг, і модель прогнозу, яка може спрогнозувати обсяг наступного дня. На наступній діаграмі показано, як причинно-наслідкова модель, яка включала розраховану цінову еластичність, працює набагато краще під час аналізу «що-якщо» (із великими відхиленнями від поведінкової ціни), ніж прогнозна модель, яка використовує Prophet для прогнозування обсягу з використанням даних часових рядів.

Ви можете застосувати це рішення для свого бізнесу в таких випадках:

• Визначити оптимальну ціну товару для роздрібного магазину
• Оцініть вплив купонів на знижку на покупки клієнтів
• Прогнозуйте ефект від різних методів стимулювання в будь-якому бізнесі

Прогноз виду птахів

Сьогодні існує кілька програм комп’ютерного бачення (CV) для бізнесу. Однією з таких програм є виявлення об’єктів, де алгоритм ML визначає розташування об’єкта на зображенні, малюючи рамку навколо нього, і визначає тип об’єкта. Навчання застосуванню моделі виявлення об’єктів і її точному налаштуванню може мати велике значення для організації, яка потребує CV.

Це рішення надає приклад того, як перекласти специфікації обмежувальної рамки під час надання зображень алгоритму SageMaker. Це рішення також демонструє, як покращити модель виявлення об’єктів, додавши навчальні зображення, які перевертаються горизонтально (дзеркальні зображення).

Надається блокнот для експериментів із завданнями виявлення об’єктів, коли є велика кількість класів (200 видів птахів). Блокнот також показує, як скласти графік підвищення точності, що відбувається впродовж епох тренувального завдання. На наступному зображенні показано зразки зображень із набору даних про птахів.

Це рішення складається з п’яти кроків:

1. Підготуйте дані, включаючи завантаження та RecordIO генерування файлів.
2. Створення та навчання моделі виявлення об’єктів.
3. Розгорніть кінцеву точку та оцініть продуктивність моделі.
4. Знову створіть і навчіть модель виявлення об’єктів із розширеним набором даних.
5. Розгорніть кінцеву точку та оцініть продуктивність розширеної моделі.

На виході ви отримаєте наступне:

• Результати виявлення об’єктів із з’єднанням рамок із тестовим зображенням
• Навчена модель виявлення об’єктів
• Навчена модель виявлення об’єктів із додатковим розширеним (перевернутим) набором даних
• Дві окремі кінцеві точки, розгорнуті з однією для кожної моделі

На наступній діаграмі показано покращення моделі порівняно з її ітераціями (епохами) під час навчання.

Наступні приклади виводяться з двох тестових зображень.

Ви можете застосувати це рішення для свого бізнесу в таких випадках:

• Виявляти об’єкти на конвеєрній стрічці в пакувальній промисловості
• Визначте начинку для піци
• Впроваджуйте операційні програми ланцюга поставок, які передбачають виявлення об’єктів

Прогноз виживання при раку легенів

COVID-19 привернув набагато більше уваги до медичних проблем, пов’язаних з легенями. Це також створило великий тиск на лікарні, лікарів, медсестер і радіологів. Уявіть можливість, коли ви можете застосувати ML як потужний інструмент для допомоги практикуючим лікарям і допомогти їм прискорити їхню роботу. У цьому рішенні ми показуємо, як 2D- і 3D-радіоматичні характеристики та демографічні дані пацієнтів можна передати в алгоритм ML для прогнозування шансів пацієнта на виживання від раку легенів. Результати цього прогнозу можуть допомогти постачальникам вжити відповідних профілактичних заходів.

Це рішення демонструє, як створити масштабований конвеєр ML для набору радіогеномних даних недрібноклітинного раку легенів (NSCLC), який складається з даних секвенування РНК, клінічних даних (що відображають дані EHR) і медичних зображень. Використання кількох типів даних для створення моделі машини називається мультимодальний ML. Це рішення прогнозує результат виживання пацієнтів з діагнозом недрібноклітинний рак легені.

На наступному зображенні показано приклад вхідних даних із набору даних радіогеномики недрібноклітинного раку легенів (NSCLC).

У рамках розчину загальну РНК витягували з тканини пухлини та аналізували за допомогою технології секвенування РНК. Незважаючи на те, що вихідні дані містять понад 22,000 21 генів, ми зберігаємо 10 ген із XNUMX кластерів генів із високою коекспресією (метагенів), які були ідентифіковані, підтверджені в загальнодоступних когортах експресії генів і корелюють із прогнозом.

Клінічні записи зберігаються у форматі CSV. Кожен рядок відповідає пацієнту, а стовпці містять інформацію про пацієнтів, включаючи демографічні дані, стадію пухлини та статус виживання.

Для геномних даних ми зберігаємо 21 ген із 10 кластерів генів із високою коекспресією (метагенів), які були ідентифіковані, підтверджені в загальнодоступних когортах експресії генів і корелюють із прогнозом.

Для даних медичної візуалізації ми створюємо тривимірні радіографічні характеристики на рівні пацієнта, які пояснюють розмір, форму та візуальні характеристики пухлин, які спостерігаються під час КТ. Для кожного дослідження пацієнта виконуються наступні кроки:

1. Прочитайте файли зрізів 2D DICOM як для КТ, так і для сегментації пухлини, об’єднайте їх у 3D-об’єми, збережіть об’єми у форматі NIfTI.
2. Вирівняйте обсяг КТ і сегментацію пухлини, щоб ми могли зосередити обчислення всередині пухлини.
3. Обчисліть радіографічні характеристики, що описують область пухлини, використовуючи бібліотеку пірадіоміки.
4. Виділіть 120 радіомічних характеристик восьми класів, таких як статистичні представлення розподілу та спільного виникнення інтенсивності в цікавій області пухлини, а також вимірювання на основі форми, що описують пухлину морфологічно.

Щоб створити мультимодальне подання пацієнта для навчання моделі, ми об’єднуємо вектори ознак із трьох модальностей. Потім ми обробляємо дані. По-перше, ми нормалізуємо діапазон незалежних функцій за допомогою масштабування функцій. Потім ми виконуємо аналіз головних компонентів (PCA) для ознак, щоб зменшити розмірність і визначити найбільш дискримінаційні ознаки, які сприяють 95% дисперсії в даних.

Це призводить до зменшення розмірності з 215 функцій до 45 основних компонентів, які є функціями для підконтрольного учня.

Рішення створює модель ML, яка прогнозує стан виживання пацієнтів з НДКРЛ (живий чи мертвий) у вигляді ймовірності. Окрім моделі та прогнозу, ми також створюємо звіти для пояснення моделі. Конвеєр медичного зображення виробляє 3D-об’єми комп’ютерної томографії легенів і сегментацію пухлини для візуалізації.

Ви можете застосувати це рішення для випадків використання в охороні здоров’я та науках про життя.

Класифікація фінансових платежів

Взяття всіх фінансових операцій підприємства або споживача та систематизація їх за різними категоріями може бути дуже корисним. Це може допомогти користувачеві дізнатися, скільки він витратив на яку категорію, а також може сповіщати, коли транзакції чи витрати в певній категорії несподівано збільшуються чи зменшуються.

Це рішення демонструє, як навчити та розгорнути модель ML для класифікації фінансових операцій на основі інформації про транзакції. Багато банків надають це як послугу, щоб дати своїм кінцевим користувачам загальне уявлення про їхні витрати. Ви також можете використовувати це рішення як проміжний крок у виявленні шахрайства, персоналізації або виявленні аномалій. Ми використовуємо SageMaker для навчання та розгортання моделі XGBoost із необхідною базовою інфраструктурою.

Синтетичний набір даних, який ми демонструємо для цього рішення, має такі особливості:

• транзакція_категорія – Категорія транзакції з наступних 19 варіантів: Uncategorized, Entertainment, Education, Shopping, Personal Care, Health and Fitness, Food and Dining, Gifts and Donations, Investments, Bills and Utilities, Auto and Transport, Travel, Fees and Charges, Business Services, Personal Services, Taxes, Gambling, Home та Pension and insurances.
• receiver_id – Ідентифікатор для приймаючої сторони. Ідентифікатор складається з 16 цифр.
• sender_id – Ідентифікатор сторони-відправника. Ідентифікатор складається з 16 цифр.
• кількість – Сума, яка перераховується.
• відмітка часу – Мітка часу транзакції у форматі РРРР-ММ-ДД ГГ:ХХ:СС.

Перші п’ять спостережень набору даних такі:

Для цього рішення ми використовуємо XGBoost, популярну та ефективну реалізацію з відкритим вихідним кодом алгоритму дерев із посиленням градієнта. Підвищення градієнта – це контрольований алгоритм навчання, який намагається точно передбачити цільову змінну шляхом поєднання сукупності оцінок із набору простіших і слабших моделей. Його реалізація доступна у вбудованих алгоритмах SageMaker.

Рішення для класифікації фінансових платежів складається з чотирьох кроків:

1. Підготуйте дані.
2. Створіть магазин функцій.
3. Створіть і навчіть модель XGBoost.
4. Розгорніть кінцеву точку та оцініть продуктивність моделі.

Ми отримуємо наступний результат:

• Навчена модель XGBoost на основі нашого прикладу набору даних
• Кінцева точка SageMaker, яка може передбачити категорію транзакції

Після запуску цього рішення ви повинні побачити звіт про класифікацію, подібний до наведеного нижче.

Серед можливих застосувань для вашого бізнесу:

• Різноманітні фінансові програми в роздрібній торгівлі та інвестиційному банкінгу
• Коли транзакції потрібно класифікувати за будь-яким варіантом використання (не лише фінансовим)

Прогнозування відтоку для клієнтів мобільних телефонів

Прогнозування відтоку клієнтів є дуже поширеною потребою бізнесу. Численні дослідження показують, що вартість утримання існуючого клієнта набагато менша, ніж залучення нового. Проблема часто виникає через те, що компаніям важко зрозуміти, чому клієнт відходить, або побудувати модель, яка передбачає відтік.

У цьому прикладі користувачі, які вперше знайомляться з машинним навчанням, можуть відчути, як можна швидко розробити модель прогнозування відтоку за допомогою набору даних транзакцій мобільних дзвінків. Це рішення використовує SageMaker для навчання та розгортання моделі XGBoost на наборі даних профілю клієнта, щоб передбачити, чи ймовірно клієнт залишить оператора мобільного зв’язку.

Набір даних, який використовує це рішення, є загальнодоступним і згадується в книзі Деніела Т. Лароуза «Відкриття знань у даних». Автор приписує його репозиторію наборів даних машинного навчання Каліфорнійського університету в Ірвайні.

Цей набір даних використовує наступний 21 атрибут для опису профілю клієнта невідомого оператора мобільного зв’язку США.

• Штат: штат США, у якому проживає клієнт, позначений дволітерною абревіатурою; наприклад, OH або NJ
• Тривалість облікового запису: кількість днів, протягом яких цей обліковий запис був активним
• Код регіону: тризначний код регіону відповідного номера телефону клієнта
• Телефон: семизначний номер телефону, що залишився
• Int’l Plan: чи має клієнт міжнародний тарифний план: так/ні
• План VMail: чи має клієнт функцію голосової пошти: так/ні
• Повідомлення VMail: середня кількість повідомлень голосової пошти на місяць
• Денних хвилин: загальна кількість хвилин дзвінків, використаних протягом дня
• Дзвінки за день: загальна кількість дзвінків, здійснених протягом дня
• Денна плата: виставлена ​​вартість денних дзвінків
• Eve Mins, Eve Calls, Eve Charge: виставлена ​​вартість дзвінків, здійснених протягом вечора
• Нічні хвилини, нічні дзвінки, нічна плата: виставлена ​​вартість дзвінків у нічний час
• Міжнародні дзвінки, міжнародні дзвінки, міжнародні тарифи: виставлена ​​вартість міжнародних дзвінків
• Дзвінки CustServ: кількість дзвінків до служби підтримки клієнтів
• Відтік?: чи залишив клієнт послугу: правда/неправда

Це рішення складається з трьох етапів:

1. Підготуйте дані.
2. Створіть і навчіть модель XGBoost.
3. Розгорніть кінцеву точку та оцініть продуктивність моделі.

Ми отримуємо наступний результат:

• Навчена модель XGBoost на основі нашого зразка набору даних для прогнозування відтоку користувачів
• Кінцева точка SageMaker, яка може передбачити відтік користувачів

Ця модель допомагає оцінити, скільки з 5,000 клієнтів мобільного зв’язку, швидше за все, перестануть користуватися своїм поточним оператором мобільного зв’язку.

На наступній діаграмі показано розподіл ймовірностей відтоку як результат моделі.

Ви можете застосувати це до свого бізнесу в таких випадках:

• Прогнозуйте відтік клієнтів у вашому власному бізнесі
• Класифікуйте, які клієнти можуть відкрити вашу маркетингову електронну пошту, а хто ні (бінарна класифікація)
• Передбачте, які студенти, швидше за все, кинуть курс

Очистити ресурси

Після того, як ви завершили запуск рішення в JumpStart, обов’язково виберіть Видалити всі ресурси тому всі ресурси, які ви створили в процесі, буде видалено, а виставлення рахунків припинено.

Підсумки

Ця публікація показала вам, як вирішувати різні бізнес-проблеми, застосовуючи ML на основі рішень JumpStart. Хоча ця публікація зосереджена на п’яти нових рішеннях, нещодавно доданих до JumpStart, загалом доступно 23 рішення. Ми заохочуємо вас увійти в Studio та самостійно ознайомитися з рішеннями JumpStart і почати отримувати з них негайну користь. Для отримання додаткової інформації див Студія Amazon SageMaker та SageMaker JumpStart.

Примітка. Якщо ви не бачите всі п’ять вищезгаданих рішень на консолі JumpStart у вашому регіоні AWS, зачекайте тиждень і перевірте ще раз. Ми випускаємо їх у різні регіони поетапно.

---

Про авторів

Доктор Раджу Пенматча є архітектором рішень AI/ML у сфері платформ AI в AWS. Він працює над пакетом послуг із низьким кодом/без коду в SageMaker, який допомагає клієнтам легко створювати та розгортати моделі та рішення машинного навчання. Коли не допомагає клієнтам, він любить подорожувати в нові місця.

Манан -шах є менеджером з розробки програмного забезпечення в Amazon Web Services. Він є ентузіастом ML і зосереджується на створенні безкодових/низькокодованих продуктів AI/ML. Він прагне надати можливість іншим талановитим технічним людям створювати чудове програмне забезпечення.