Покращення працездатності активів і стійкості мережі за допомогою машинного навчання | Веб-сервіси Amazon

Цей пост написано спільно з Тревісом Бронсоном і Браяном Л. Вілкерсоном з Duke Energy

Машинне навчання (ML) трансформує кожну галузь, процес і бізнес, але шлях до успіху не завжди є простим. У цій публікації блогу ми демонструємо, як це зробити Герцог Енергія, компанія зі списку Fortune 150 зі штаб-квартирою в Шарлотті, штат Північна Кароліна, співпрацювала з Лабораторія рішень машинного навчання AWS (MLSL) для використання комп’ютерного зору для автоматизації перевірки дерев’яних стовпів і запобігання відключень електроенергії, пошкодження майна та навіть травм.

Електрична мережа складається зі стовпів, ліній і електростанцій для виробництва та доставки електроенергії в мільйони будинків і підприємств. Ці опори є критично важливими компонентами інфраструктури та піддаються впливу різних факторів навколишнього середовища, таких як вітер, дощ і сніг, що може призвести до зносу активів. Вкрай важливо, щоб стовпи інженерних мереж регулярно перевірялися та обслуговувалися, щоб запобігти збоям, які можуть призвести до відключення електроенергії, пошкодження майна та навіть травм. Більшість енергетичних компаній, у тому числі Duke Energy, використовують ручний візуальний огляд стовпів, щоб виявити аномалії, пов’язані з їхньою мережею передачі та розподілу. Але цей метод може бути дорогим і трудомістким, і він вимагає, щоб працівники ліній електропередач дотримувалися суворих протоколів безпеки.

У минулому компанія Duke Energy використовувала штучний інтелект для підвищення ефективності повсякденних операцій із великим успіхом. Компанія використовувала штучний інтелект для перевірки генеруючих активів і критичної інфраструктури, а також вивчала можливості застосування штучного інтелекту для перевірки стовпів інженерних мереж. Під час співпраці AWS Machine Learning Solutions Lab із Duke Energy утиліта прогресувала в роботі з автоматизації виявлення аномалій у дерев’яних стовпах за допомогою передових методів комп’ютерного зору.

Цілі та варіант використання

Метою цієї співпраці між Duke Energy та Machine Learning Solutions Lab є використання машинного навчання для перевірки сотень тисяч аерофотознімків високої роздільної здатності для автоматизації процесу ідентифікації та перевірки всіх проблем, пов’язаних із дерев’яними стовпами, на 33,000 XNUMX милях ліній електропередачі. . Ця мета додатково допоможе Duke Energy підвищити стійкість мережі та відповідати державним нормам шляхом своєчасного виявлення дефектів. Це також зменшить витрати на паливо та робочу силу, а також скоротить викиди вуглецю за рахунок мінімізації непотрібних кренів вантажівок. Нарешті, це також підвищить безпеку за рахунок мінімізації пройдених кілометрів, підйому на стовпи та ризиків фізичного огляду, пов’язаних із погіршенням рельєфу та погодних умов.

У наступних розділах ми представляємо ключові проблеми, пов’язані з розробкою надійних та ефективних моделей для виявлення аномалій, пов’язаних із дерев’яними опорами. Ми також описуємо ключові проблеми та припущення, пов’язані з різними методами попередньої обробки даних, які використовуються для досягнення бажаної продуктивності моделі. Далі ми представляємо ключові показники, які використовуються для оцінки продуктивності моделі разом з оцінкою наших остаточних моделей. І, нарешті, ми порівнюємо різноманітні найсучасніші методи моделювання під наглядом і без нагляду.

Виклики

Однією з ключових проблем, пов’язаних із навчанням моделі для виявлення аномалій за допомогою аерофотознімків, є неоднорідність розмірів зображення. На наступному малюнку показано розподіл висоти та ширини зображення зразка набору даних від Duke Energy. Можна помітити, що зображення мають велику кількість варіацій щодо розміру. Подібним чином розмір зображень також створює значні проблеми. Розмір вхідних зображень становить тисячі пікселів у ширину та тисячі пікселів у довжину. Це також не ідеально підходить для навчання моделі ідентифікації невеликих аномальних областей на зображенні.

Крім того, вхідні зображення містять велику кількість нерелевантної фонової інформації, такої як рослинність, автомобілі, сільськогосподарські тварини тощо. Фонова інформація може призвести до неоптимальної продуктивності моделі. Виходячи з нашої оцінки, лише 5% зображення містить дерев’яні стовпи, а аномалії ще менші. Це серйозна проблема для виявлення та локалізації аномалій на зображеннях високої роздільної здатності. Кількість аномалій значно менша, порівняно з усім набором даних. У всьому наборі даних лише 0.12% аномальних зображень (тобто 1.2 аномалії з 1000 зображень). Нарешті, немає позначених даних, доступних для навчання моделі керованого машинного навчання. Далі ми описуємо, як ми вирішуємо ці проблеми, і пояснюємо запропонований нами метод.

Огляд рішення

Техніка моделювання

На наступному малюнку показано наш конвеєр обробки зображень і виявлення аномалій. Спочатку ми імпортували дані в Служба простого зберігання Amazon (Amazon S3) використання Студія Amazon SageMaker. Крім того, ми застосували різні методи обробки даних, щоб вирішити деякі проблеми, висвітлені вище, щоб покращити продуктивність моделі. Після попередньої обробки даних ми використовували Amazon Розпізнавання спеціальних міток для маркування даних. Помічені дані далі використовуються для навчання керованих моделей ML, таких як Vision Transformer, Amazon Lookout for Vision та AutoGloun для виявлення аномалії.

На наступному малюнку наведено детальний огляд запропонованого нами підходу, який включає конвеєр обробки даних і різні алгоритми машинного навчання, що використовуються для виявлення аномалій. Спочатку ми опишемо етапи конвеєра обробки даних. Далі ми пояснимо деталі та інтуїцію, пов’язану з різними методами моделювання, які використовуються під час цього залучення для досягнення бажаних цілей ефективності.

Попередня обробка даних

Пропонований конвеєр попередньої обробки даних включає стандартизація даних, визначення регіону інтересу (ROI), збільшення даних, сегментація даних і в кінці кінців маркування даних. Мета кожного кроку описана нижче.

Стандартизація даних

Перший крок у нашій системі обробки даних включає стандартизацію даних. На цьому кроці кожне зображення обрізається та ділиться на неперекриваючі ділянки розміром 224 X 224 пікселя. Метою цього кроку є створення ділянок однакових розмірів, які можна було б надалі використовувати для навчання моделі ML і локалізації аномалій у зображеннях високої роздільної здатності.

Визначення регіону інтересу (ROI)

Вхідні дані складаються із зображень високої роздільної здатності, що містять велику кількість нерелевантної фонової інформації (наприклад, рослинність, будинки, автомобілі, коні, корови тощо). Наша мета — виявити аномалії, пов’язані з дерев’яними стовпами. Щоб ідентифікувати ROI (тобто ділянки, що містять дерев’яний стовп), ми застосували спеціальне маркування Amazon Rekognition. Ми навчили спеціальну модель міток Amazon Rekognition, використовуючи зображення з мітками розміром 3k, що містять як ROI, так і фонові зображення. Метою моделі є виконання двійкової класифікації між ROI та фоновими зображеннями. Патчі, визначені як фонова інформація, відкидаються, тоді як урожай, передбачений як рентабельність інвестицій, використовується на наступному кроці. На наступному малюнку показано конвеєр, який визначає ROI. Ми створили вибірку кадрів, що не перекриваються, із 1,110 дерев’яних зображень, які створили 244,673 11,356 кадрування. Крім того, ми використали ці зображення як вхідні дані для спеціальної моделі Amazon Rekognition, яка визначила 11,356 10,969 культур як ROI. Нарешті, ми вручну перевірили кожен із цих 11,356 96 патчів. Під час перевірки вручну ми визначили, що модель змогла правильно передбачити XNUMX XNUMX деревних ділянок із XNUMX XNUMX як ROI. Іншими словами, модель досягла XNUMX% точності.

Маркування даних

Під час ручної перевірки зображень ми також позначили кожне зображення відповідними мітками. Пов’язані мітки зображень включають дерев’яну ділянку, недеревну ділянку, неструктуровану, недерев’яну ділянку та, нарешті, дерев’яні ділянки з аномаліями. На наступному малюнку показано номенклатуру зображень із використанням спеціального маркування Amazon Rekognition.

Збільшення даних

Враховуючи обмежену кількість позначених даних, які були доступні для навчання, ми розширили набір навчальних даних, зробивши горизонтальне перегортання всіх патчів. Це мало ефективний ефект подвоєння розміру нашого набору даних.

Сегментація

Ми позначили об’єкти на 600 зображеннях (стовпи, дроти та металеві поручні) за допомогою інструмента визначення міток об’єктів обмежувальної рамки в Amazon Rekognition Custom Labels і навчили модель виявляти три основні цікаві об’єкти. Ми використовували навчену модель для видалення фону з усіх зображень, ідентифікуючи та вилучаючи полюси в кожному зображенні, одночасно видаляючи всі інші об’єкти, а також фон. Отриманий набір даних містив менше зображень, ніж вихідний набір даних, в результаті видалення всіх зображень, які не містять дерев’яних стовпів. Крім того, було також хибне позитивне зображення, яке було видалено з набору даних.

Виявлення аномалії

Далі ми використовуємо попередньо оброблені дані для навчання моделі машинного навчання виявленню аномалій. Ми використали три різні методи виявлення аномалій, зокрема керовані сервіси машинного навчання AWS (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon і метод самоперегонки на основі Vision Transformer.

Послуги AWS

Amazon Lookout for Vision (L4V)

Amazon Lookout for Vision — це керована служба AWS, яка забезпечує швидке навчання та розгортання моделей машинного навчання та надає можливості виявлення аномалій. Для цього потрібні повністю позначені дані, які ми надали, вказуючи на шляхи зображень в Amazon S3. Навчання моделі настільки ж просте, як один виклик API (інтерфейсу прикладного програмування) або натискання кнопки консолі, і L4V піклується про вибір моделі та налаштування гіперпараметрів під капотом.

Amazon Rekognition

Amazon Rekognition — це керований сервіс AI/ML, подібний до L4V, який приховує деталі моделювання та надає багато можливостей, таких як класифікація зображень, виявлення об’єктів, користувальницьке маркування тощо. Він надає можливість використовувати вбудовані моделі для застосування до раніше відомих об’єктів на зображеннях (наприклад, із ImageNet або інших великих відкритих наборів даних). Однак ми використали функцію спеціальних міток Amazon Rekognition, щоб навчити детектор ROI, а також детектор аномалій на конкретних зображеннях, які має Duke Energy. Ми також використали спеціальні мітки Amazon Rekognition, щоб навчити модель розміщувати рамки навколо дерев’яних стовпів на кожному зображенні.

AutoGloun

AutoGluon — це техніка машинного навчання з відкритим кодом, розроблена Amazon. AutoGluon містить мультимодальний компонент, який дозволяє легко навчатися на даних зображення. Ми використовували AutoGluon Multi-modal для навчання моделей на позначених ділянках зображення, щоб встановити базову лінію для виявлення аномалій.

Трансформатор бачення

Багато з найцікавіших нових проривів ШІ стали результатом двох останніх інновацій: самоконтрольованого навчання, яке дозволяє машинам навчатися на випадкових непозначених прикладах; і Трансформери, які дозволяють моделям штучного інтелекту вибірково зосереджуватися на певних частинах вхідних даних і таким чином міркувати ефективніше. Обидва методи залишаються в центрі уваги спільноти машинного навчання, і ми раді повідомити, що використали їх у цій співпраці.

Зокрема, працюючи у співпраці з дослідниками з Duke Energy, ми використали попередньо підготовлені моделі ViT (Vision Transformer) із самодистиляцією як екстрактори функцій для програми виявлення аномалій у нижній частині за допомогою Amazon Sagemaker. Попередньо підготовлені моделі трансформаторів зору з самодистиляцією навчаються на великій кількості навчальних даних, що зберігаються на Amazon S3, у самоконтрольований спосіб за допомогою Amazon SageMaker. Ми використовуємо можливості навчання передачі моделей ViT, попередньо навчених на великомасштабних наборах даних (наприклад, ImageNet). Це допомогло нам досягти 83% запам’ятовування набору для оцінювання, використовуючи лише кілька тисяч позначених зображень для навчання.

Показники оцінки

На наступному малюнку показано ключові показники, які використовуються для оцінки продуктивності моделі та її впливу. Ключова мета моделі полягає в тому, щоб максимізувати виявлення аномалій (тобто справжніх позитивних результатів) і мінімізувати кількість помилкових негативних результатів або моментів, коли аномалії, які можуть призвести до збоїв, неправильно класифікуються.

Після виявлення аномалій технічні спеціалісти можуть їх усунути, запобігаючи майбутнім відключенням і забезпечуючи дотримання державних постанов. Зведення до мінімуму помилкових спрацьовувань має ще одну перевагу: ви уникаєте непотрібних зусиль, пов’язаних із повторним переглядом зображень.

Пам’ятаючи про ці показники, ми відстежуємо ефективність моделі за такими показниками, які охоплюють усі чотири визначені вище показники.

Точність

Відсоток виявлених аномалій, які є фактичними аномаліями для об’єктів інтересу. Точність визначає, наскільки добре наш алгоритм визначає лише аномалії. Для цього випадку використання висока точність означає низький рівень помилкових тривог (тобто алгоритм помилково визначає нору дятла, поки її немає на зображенні).

Згадувати

Відсоток усіх аномалій, відновлених для кожного об’єкта інтересу. Recall вимірює, наскільки добре ми ідентифікуємо всі аномалії. Цей набір охоплює деякий відсоток від повного набору аномалій, і цей відсоток є відкликанням. Для цього випадку використання високий рівень запам’ятовування означає, що ми добре вміємо ловити нори дятла, коли вони трапляються. Таким чином, відкликання є правильним показником, на якому варто зосередитися в цьому POC, оскільки помилкові тривоги в кращому випадку дратують, а пропущені аномалії можуть призвести до серйозних наслідків, якщо їх залишити без уваги.

Нижче відкликання може призвести до збоїв і порушення державних норм. Тоді як менша точність призводить до марних людських зусиль. Основна мета цієї взаємодії — виявити всі аномалії, щоб відповідати державним постановам і уникнути будь-яких збоїв, тому ми надаємо пріоритет покращенню запам’ятовування, а не точності.

Оцінка та порівняння моделей

У наступному розділі ми демонструємо порівняння різних методів моделювання, які використовувалися під час цього залучення. Ми оцінювали продуктивність двох сервісів AWS Amazon Rekognition і Amazon Lookout for Vision. Ми також оцінили різні техніки моделювання за допомогою AutoGluon. Нарешті, ми порівнюємо продуктивність із найсучаснішим методом самодистиляції на основі ViT.

На наступному малюнку показано вдосконалення моделі для AutoGluon з використанням різних методів обробки даних протягом періоду цього залучення. Ключове зауваження полягає в тому, що в міру покращення якості та кількості даних продуктивність моделі з точки зору запам’ятовування покращилася з 30% до 78%.

Далі ми порівняємо продуктивність AutoGluon із сервісами AWS. Ми також застосували різні методи обробки даних, які допомогли підвищити продуктивність. Однак головне покращення відбулося завдяки збільшенню кількості та якості даних. Ми збільшили розмір набору даних із 11 тис. зображень загалом до 60 тис. зображень.

Далі ми порівнюємо продуктивність служб AutoGluon і AWS за допомогою методу на основі ViT. Наступний малюнок демонструє, що метод на основі ViT, AutoGluon і служби AWS показали однакові результати з точки зору відкликання. Одним із ключових спостережень є те, що після певного моменту підвищення якості та кількості даних не сприяє підвищенню продуктивності з точки зору відкликання. Проте ми спостерігаємо покращення з точки зору точності.

Порівняння точності та запам’ятовування

Amazon AutoGluon	Прогнозовані аномалії	Прогнозовано нормально
Аномалії	15600	4400
нормальний	3659	38341

Далі ми представляємо матрицю плутанини для AutoGluon і Amazon Rekognition і методу на основі ViT, використовуючи наш набір даних, який містить 62 тисячі зразків. З 62 тис. зразків 20 тис. зразків є аномальними, а решта 42 тис. зображень є нормальними. Можна помітити, що методи на основі ViT фіксують найбільшу кількість аномалій (16,600 16,000), за якими йдуть Amazon Rekognition (15600 3659) і Amazon AutoGluon (5918 15323). Подібним чином Amazon AutoGluon має найменшу кількість помилкових спрацьовувань (XNUMX зображень), за ним йдуть Amazon Rekognition (XNUMX) і ViT (XNUMX). Ці результати демонструють, що Amazon Rekognition досягає найвищої AUC (площі під кривою).

Amazon Rekognition	Прогнозовані аномалії	Прогнозовано нормально
Аномалії	16,000	4000
нормальний	5918	36082

Віт	Прогнозовані аномалії	Прогнозовано нормально
Аномалії	16,600	3400
нормальний	15,323	26,677

Висновок

У цій публікації ми показали вам, як команди MLSL і Duke Energy працювали разом над розробкою рішення на основі комп’ютерного зору для автоматизованого виявлення аномалій у дерев’яних стовпах за допомогою зображень високої роздільної здатності, зібраних під час польотів на вертольоті. Запропоноване рішення використовувало конвеєр обробки даних для обрізання зображення високої роздільної здатності для стандартизації розміру. Обрізані зображення додатково обробляються за допомогою користувальницьких міток Amazon Rekognition, щоб ідентифікувати цікаву область (тобто кадри, що містять ділянки зі стовпами). Amazon Rekognition досягла 96% точності з точки зору правильної ідентифікації патчів із полюсами. Культури ROI далі використовуються для виявлення аномалій за допомогою mdoel AutoGluon для самодистиляції на основі ViT і служб AWS для виявлення аномалій. Ми використовували стандартний набір даних для оцінки ефективності всіх трьох методів. Модель на основі ViT досягла 83% запам’ятовування та 52% точності. AutoGluon досяг 78% відкликання та 81% точності. Нарешті, Amazon Rekognition досягає 80% відкликання та 73% точності. Метою використання трьох різних методів є порівняння ефективності кожного методу з різною кількістю навчальних зразків, часом навчання та часом розгортання. Навчання та розгортання всіх цих методів займає менше 2 годин за допомогою одного екземпляра GPU A100 або керованих служб на Amazon AWS. Далі кроки для подальшого покращення продуктивності моделі включають додавання додаткових навчальних даних для підвищення точності моделі.

Загалом наскрізний конвеєр, запропонований у цій публікації, допомагає значно покращити виявлення аномалій, одночасно мінімізуючи операційні витрати, інциденти з безпекою, регулятивні ризики, викиди вуглецю та можливі відключення електроенергії.

Розроблене рішення можна використовувати для інших випадків виявлення аномалій і використання активів, пов’язаних зі здоров’ям, у мережах передачі та розподілу, включаючи дефекти ізоляторів та іншого обладнання. Щоб отримати додаткову допомогу в розробці та налаштуванні цього рішення, будь ласка, зв’яжіться з командою MLSL.

---

Про авторів

Тревіс Бронсон є провідним фахівцем зі штучного інтелекту з 15-річним досвідом роботи в технологіях і 8 років спеціально присвячених штучному інтелекту. За 5 років роботи в Duke Energy Тревіс просунув застосування штучного інтелекту для цифрової трансформації, привносячи унікальні ідеї та креативне лідерство в компанії. Наразі Тревіс очолює основну команду штучного інтелекту, спільноту практиків штучного інтелекту, ентузіастів і бізнес-партнерів, які зосереджені на покращенні результатів ШІ та управління. Тревіс отримав і вдосконалив свої навички в багатьох технологічних галузях, починаючи з військово-морського флоту та уряду США, а потім перейшовши до приватного сектору після більш ніж десяти років служби.

 Браян Вілкерсон є досвідченим професіоналом із двома десятиліттями досвіду роботи в Duke Energy. Маючи ступінь з інформатики, він провів останні 7 років, досягаючи успіхів у сфері штучного інтелекту. Браян є співзасновником MADlab Duke Energy (команда машинного навчання, ШІ та глибокого навчання). Наразі він обіймає посаду директора зі штучного інтелекту та трансформації в Duke Energy, де він захоплений досягненням бізнес-цінності завдяки впровадженню ШІ.

Ахсан Алі є прикладним науковцем у Центрі інновацій Amazon Generative AI, де він працює з клієнтами з різних сфер, щоб вирішити їхні термінові та дорогі проблеми за допомогою Generative AI.

Тахін Саєд є прикладним науковцем у Amazon Generative AI Innovation Center, де він працює з клієнтами, щоб допомогти досягти бізнес-результатів за допомогою генеративних рішень AI. Поза роботою він любить пробувати нову їжу, подорожувати та викладати тхеквондо.

Доктор Нкечіньєре Н. Агу є прикладним науковцем у Центрі інновацій Generative AI в AWS. Її досвід полягає в методах комп’ютерного бачення AI/ML, застосуванні AI/ML в охороні здоров’я, а також інтеграції семантичних технологій (Knowledge Graphs) у рішення ML. Вона має ступінь магістра та доктора комп’ютерних наук.

Альдо Арізменді є стратегом генеративного штучного інтелекту в Інноваційному центрі генеративного штучного інтелекту AWS, що знаходиться в Остіні, штат Техас. Отримавши ступінь бакалавра комп’ютерної інженерії в Університеті Небраска-Лінкольн, протягом останніх 12 років пан Арізменді допоміг сотням компаній зі списку Fortune 500 і стартапів трансформувати свій бізнес за допомогою передової аналітики, машинного навчання та генеративного штучного інтелекту.

Стейсі Дженкс є головним спеціалістом із продажів аналітики в AWS, має понад два десятиліття досвіду в аналітиці та AI/ML. Стейсі захоплюється глибоким вивченням ініціатив клієнтів і досягненням трансформаційних, вимірних бізнес-результатів за допомогою даних. Вона з особливим ентузіазмом ставиться до сліду, який комунальні підприємства зроблять на суспільство через свій шлях до зеленішої планети з доступною, надійною та чистою енергією.

Мехді Нур є менеджером із прикладних наук у Центрі інновацій Generative Ai. Маючи пристрасть до поєднання технологій та інновацій, він допомагає клієнтам AWS розкрити потенціал Generative AI, перетворюючи потенційні виклики на можливості для швидких експериментів та інновацій, зосереджуючись на масштабованому, вимірюваному та ефективному застосуванні передових технологій AI та оптимізуючи шлях до виробництва.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• ChartPrime. Розвивайте свою торгову гру за допомогою ChartPrime. Доступ тут.
• BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/