Підвищення продуктивності розробника: як Deloitte використовує Amazon SageMaker Canvas для машинного навчання без коду/з низьким кодом | Веб-сервіси Amazon

Здатність швидко створювати та розгортати моделі машинного навчання (ML) стає все більш важливою в сучасному світі, що керується даними. Однак створення моделей ML вимагає значного часу, зусиль і спеціальних знань. Від збору даних і очищення до розробки функцій, побудови моделі, налаштування та розгортання, розробники часто займають місяці, щоб завершити проекти ML. А досвідчених спеціалістів із обробки даних може бути важко знайти.

Саме тут набір ML-сервісів AWS з низьким кодом і без нього стає важливим інструментом. Використовуючи лише кілька клацань Canvas Amazon SageMaker, ви можете скористатися потужністю ML без необхідності писати код.

Як стратегічний системний інтегратор із глибоким досвідом ML, Deloitte використовує інструменти ML без коду та з низьким кодом від AWS для ефективного створення та розгортання моделей ML для клієнтів Deloitte та внутрішніх активів. Ці інструменти дозволяють Deloitte розробляти рішення для машинного навчання без необхідності ручного кодування моделей і конвеєрів. Це може допомогти пришвидшити терміни реалізації проекту та дати Deloitte змогу взяти на себе більше роботи з клієнтами.

Нижче наведено деякі конкретні причини, чому Deloitte використовує ці інструменти:

• Доступність для не програмістів – Інструменти без коду відкривають можливість побудови моделі ML для непрограмістів. Члени команди, які володіють лише знаннями в галузі та дуже невеликими навичками програмування, можуть розробляти моделі ML.
• Швидке впровадження нових технологій – Доступність і постійне вдосконалення готових до використання моделей і AutoML допомагає гарантувати, що користувачі постійно використовують технології провідного класу.
• Економічний розвиток – Інструменти без коду допомагають скоротити вартість і час, необхідні для розробки моделі ML, роблячи її більш доступною для клієнтів, що може допомогти їм досягти вищої рентабельності інвестицій.

Крім того, ці інструменти пропонують комплексне рішення для пришвидшення робочих процесів, що дозволяє:

• Швидша підготовка даних – SageMaker Canvas має понад 300 вбудованих перетворень і здатність використовувати природну мову, яка може прискорити підготовку даних і створення моделей.
• Швидше створення моделі – SageMaker Canvas пропонує готові до використання моделі або Amazon AutoML технологія, яка дає змогу створювати власні моделі на корпоративних даних лише кількома клацаннями миші. Це допомагає пришвидшити процес порівняно з моделями кодування з нуля.
• Простіше розгортання – SageMaker Canvas пропонує можливість розгортати готові до виробництва моделі на Amazon Sagmaker кінцеву точку за кілька кліків, а також реєструючи її в Реєстр моделей Amazon SageMaker.

Вішвешвара Васа, Хмарний технічний директор Deloitte, каже:

«Завдяки безкодовим службам машинного навчання AWS, таким як SageMaker Canvas і SageMaker Data Wrangler, ми в Deloitte Consulting відкрили нові можливості для підвищення ефективності, підвищивши швидкість розробки та продуктивність розгортання на 30–40% у наших клієнтських і внутрішніх проектах».

У цій публікації ми демонструємо можливості побудови наскрізної моделі ML без коду за допомогою SageMaker Canvas, показуючи вам, як побудувати модель класифікації для прогнозування, якщо клієнт не виплатить кредит. Завдяки точнішому прогнозуванню неплатежів по кредитах модель може допомогти фінансовій компанії керувати ризиками, відповідним чином оцінювати кредити, покращувати роботу, надавати додаткові послуги та отримати конкурентну перевагу. Ми демонструємо, як SageMaker Canvas може допомогти вам швидко перейти від необроблених даних до розгорнутої моделі двійкової класифікації для прогнозування дефолту за кредитом.

SageMaker Canvas пропонує широкі можливості підготовки даних на базі Amazon SageMaker Data Wrangler у робочій області SageMaker Canvas. Це дає змогу пройти всі етапи стандартного робочого процесу ML, від підготовки даних до побудови та розгортання моделі, на одній платформі.

Підготовка даних зазвичай є найбільш трудомістким етапом робочого процесу машинного навчання. Щоб скоротити час, витрачений на підготовку даних, SageMaker Canvas дозволяє готувати дані за допомогою понад 300 вбудованих перетворень. Як альтернатива, ви можете писати підказки природною мовою, як-от «відкинути рядки для стовпця c, які є викидами», і отримати фрагмент коду, необхідний для цього етапу підготовки даних. Потім ви можете додати це до робочого процесу підготовки даних кількома клацаннями миші. У цій публікації ми також покажемо вам, як це використовувати.

Огляд рішення

На наступній діаграмі описано архітектуру моделі класифікації кредиту за замовчуванням за допомогою інструментів SageMaker з низьким кодом і без коду.

Починаючи з набору даних, у якому містяться відомості про дефолтні дані по кредиту Служба простого зберігання Amazon (Amazon S3), ми використовуємо SageMaker Canvas, щоб отримати уявлення про дані. Потім ми виконуємо розробку функцій, щоб застосувати такі перетворення, як кодування категоріальних функцій, видалення непотрібних функцій тощо. Потім ми зберігаємо очищені дані в Amazon S3. Ми використовуємо очищений набір даних для створення моделі класифікації для прогнозування неплатежів за кредитами. Тоді ми маємо готову модель для висновку.

Передумови

Переконайтеся, що наступне передумови завершені та що ви ввімкнули Полотно Готові до використання моделі під час налаштування домену SageMaker. Якщо ви вже налаштували свій домен, редагувати налаштування домену і йди до Налаштування Canvas щоб включити Увімкнути готові до використання моделі Canvas варіант. Додатково налаштуйте і створити програму SageMaker Canvas, потім запитайте та ввімкніть Антропний доступ до моделі Клода on Amazon Bedrock.

Набір даних

Ми використовуємо публічний набір даних від kaggle що містить інформацію про фінансові кредити. Кожен рядок у наборі даних представляє одну позику, а стовпці надають деталі про кожну транзакцію. Завантажте цей набір даних і збережіть його у відрі S3 за вашим вибором. У наведеній нижче таблиці перераховано поля в наборі даних.

Назва стовпця	Тип даних	Опис
Person_age	Ціле число	Вік особи, яка взяла кредит
Person_income	Ціле число	Дохід позичальника
Person_home_ownership	рядок	Статус володіння житлом (власне чи орендоване)
Person_emp_length	Десятковий	Кількість років, протягом яких вони працюють
Loan_intent	рядок	Причина позики (особисті, медичні, освітні та ін.)
Loan_grade	рядок	Клас позики (A–E)
Loan_int_rate	Десятковий	Процентна ставка
Loan_amnt	Ціле число	Загальна сума кредиту
Loan_status	Ціле число	Ціль (незалежно від того, чи виконано вони за замовчуванням чи ні)
Loan_percent_income	Десятковий	Сума кредиту в порівнянні з відсотком від доходу
Cb_person_default_on_file	Ціле число	Попередні параметри за замовчуванням (за наявності)
Cb_person_credit_history_length	рядок	Тривалість кредитної історії

Спростіть підготовку даних за допомогою SageMaker Canvas

Підготовка даних може займати до 80% зусиль у проектах ML. Належна підготовка даних веде до кращої продуктивності моделі та точніших прогнозів. SageMaker Canvas дозволяє інтерактивне дослідження, трансформацію та підготовку даних без написання коду SQL або Python.

Щоб підготувати дані, виконайте такі кроки:

1. На консолі SageMaker Canvas виберіть Підготовка даних у навігаційній панелі.
2. на Створювати меню, виберіть Документ.
3. для Назва набору даних, введіть назву для вашого набору даних.
4. Вибирати Створювати.
   
5. Виберіть Amazon S3 як джерело даних і підключіть його до набору даних.
6. Після завантаження набору даних створіть потік даних, використовуючи цей набір даних.
   
7. Перейдіть на вкладку аналізів і створіть a Звіт про якість даних і статистику.

Це рекомендований крок для аналізу якості вхідного набору даних. Вихідні дані цього звіту дають миттєву статистику на основі ML, наприклад перекіс даних, дублікати в даних, відсутні значення та багато іншого. На наступному знімку екрана показано зразок створеного звіту для набору даних позики.

Генеруючи цю інформацію від вашого імені, SageMaker Canvas надає вам набір проблем у даних, які потребують виправлення на етапі підготовки даних. Щоб вибрати дві головні проблеми, визначені SageMaker Canvas, вам потрібно закодувати категориальні функції та видалити повторювані рядки, щоб якість вашої моделі була високою. За допомогою SageMaker Canvas ви можете робити обидва та багато іншого у візуальному робочому процесі.

1. По-перше, одноразове кодування loan_intent, loan_grade та person_home_ownership
2. Ви можете скинути cb_person_cred_history_length оскільки цей стовпець має найменшу передбачувану силу, як показано у звіті про якість даних і аналітичні дані.
   
   SageMaker Canvas нещодавно додав a Чат з даними варіант. Ця функція використовує потужність основних моделей для інтерпретації запитів на природній мові та створення коду на основі Python для застосування інженерних перетворень функцій. Цю функцію підтримує Amazon Bedrock і її можна налаштувати для роботи повністю у вашому VPC, щоб дані ніколи не залишали ваше середовище.
3. Щоб скористатися цією функцією для видалення повторюваних рядків, виберіть знак плюс поруч із Колонка скидання перетворення, а потім виберіть Чат з даними.
   
4. Введіть свій запит природною мовою (наприклад, «Видалити повторювані рядки з набору даних»).
5. Перегляньте згенероване перетворення та виберіть Додати до кроків щоб додати перетворення до потоку.
   
6. Нарешті, експортуйте результати цих перетворень в Amazon S3 або за бажанням Магазин функцій Amazon SageMaker використовувати ці функції в кількох проектах.

Ви також можете додати ще один крок, щоб створити місце призначення Amazon S3 для набору даних, щоб масштабувати робочий процес для великого набору даних. На наступній діаграмі показано потік даних SageMaker Canvas після додавання візуальних трансформацій.

Ви виконали повну обробку даних і етап розробки функцій за допомогою візуальних робочих процесів у SageMaker Canvas. Це допомагає скоротити час, який розробник даних витрачає на очищення та підготовку даних до розробки моделі від тижнів до днів. Наступним кроком буде побудова моделі ML.

Побудуйте модель за допомогою SageMaker Canvas

Amazon SageMaker Canvas забезпечує наскрізний робочий процес без коду для створення, аналізу, тестування та розгортання цієї двійкової моделі класифікації. Виконайте наступні дії:

1. Створіть набір даних у SageMaker Canvas.
2. Укажіть або розташування S3, яке було використано для експорту даних, або розташування S3, яке знаходиться на місці призначення завдання SageMaker Canvas.
   
   Тепер ви готові до створення моделі.
3. Вибирати моделі на панелі навігації та виберіть нова модель.
4. Назвіть модель і виберіть Прогностичний аналіз як тип моделі.
5. Виберіть набір даних, створений на попередньому кроці.
   
   Наступним кроком є ​​налаштування типу моделі.
6. Виберіть цільовий стовпець, і тип моделі буде автоматично встановлено як 2 категорія передбачення.
7. Виберіть тип збірки, Стандартна збірка or Швидка збірка.
   
   SageMaker Canvas відображає очікуваний час створення, щойно ви починаєте будувати модель. Стандартна збірка зазвичай займає від 2 до 4 годин; ви можете використовувати опцію швидкого створення для менших наборів даних, що займає лише 2–15 хвилин. Для цього конкретного набору даних побудова моделі має тривати близько 45 хвилин. SageMaker Canvas інформує вас про хід процесу створення.
8. Після того, як модель буде побудована, ви можете переглянути її продуктивність.
   
   SageMaker Canvas надає різні показники, такі як точність, точність і оцінка F1 залежно від типу моделі. На наступному знімку екрана показано точність і кілька інших розширених показників цієї двійкової моделі класифікації.
9. Наступний крок — зробити тестові прогнози.
   SageMaker Canvas дозволяє робити пакетні прогнози для кількох вхідних даних або один прогноз, щоб швидко перевірити якість моделі. На наступному знімку екрана показано зразок висновку.
   
10. Останнім кроком є ​​розгортання навченої моделі.
    SageMaker Canvas розгортає модель на кінцевих точках SageMaker, і тепер у вас є робоча модель, готова для висновків. На наступному знімку екрана показано розгорнуту кінцеву точку.
    

Після розгортання моделі ви можете викликати її через AWS SDK або Інтерфейс командного рядка AWS (AWS CLI) або зробіть виклики API до будь-якої програми на ваш вибір, щоб впевнено передбачити ризик потенційного позичальника. Додаткову інформацію про тестування моделі див Викликати кінцеві точки в реальному часі.

Прибирати

Щоб уникнути додаткових витрат, вийдіть із SageMaker Canvas or видалити домен SageMaker що було створено. Крім того, видалити кінцеву точку моделі SageMaker та видалити набір даних, який було завантажено в Amazon S3.

Висновок

Безкодовий ML прискорює розробку, спрощує розгортання, не вимагає навичок програмування, підвищує стандартизацію та знижує вартість. Ці переваги зробили безкодове ML привабливим для Deloitte, щоб покращити свої пропозиції послуг ML, і вони скоротили терміни створення моделі ML на 30–40%.

Deloitte є стратегічним глобальним системним інтегратором із понад 17,000 XNUMX сертифікованих практиків AWS по всьому світу. Він продовжує піднімати планку завдяки участі в Програмі компетенцій AWS 25 компетенцій, включаючи машинне навчання. Зв’яжіться з Deloitte щоб почати використовувати рішення AWS без коду та з низьким кодом на вашому підприємстві.

---

Про авторів

Чіда Садаяппан очолює практику Deloitte Cloud AI/Machine Learning. Він має великий досвід інтелектуального лідерства в заходах і процвітає в підтримці керівників, зацікавлених у досягненні цілей підвищення ефективності та модернізації в різних галузях за допомогою AI/ML. Чіда є серійним технологічним підприємцем і завзятим розбудовником спільноти в екосистемах стартапів і розробників.

Kuldeep Singh, головний глобальний лідер AI/ML в AWS із понад 20-річним стажем у сфері технологій, уміло поєднує свій досвід у сфері продажів і підприємництва з глибоким розумінням AI, ML та кібербезпеки. Він чудово налагоджує стратегічні глобальні партнерства, просуває трансформаційні рішення та стратегії в різних галузях, зосереджуючись на генеративному штучному інтелекті та GSI.

Касі Муту є старшим партнером-архітектором рішень, який зосереджується на даних та AI/ML в AWS із Х’юстона, Техас. Він захоплений тим, щоб допомогти партнерам і клієнтам пришвидшити їх подорож хмарними даними. Він є надійним порадником у цій галузі та має великий досвід проектування та створення масштабованих, стійких і продуктивних робочих навантажень у хмарі. Поза роботою любить проводити час із родиною.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/