Це гостьовий допис Маріо Намтао Шіанті Ларчера, керівника відділу комп’ютерного зору компанії Enel.
Є в, яка починалася як національне підприємство Італії з електроенергії, сьогодні є транснаціональною компанією, яка представлена в 32 країнах і першим приватним мережевим оператором у світі з 74 мільйонами користувачів. Він також визнаний першим гравцем з відновлюваних джерел енергії з 55.4 ГВт встановленої потужності. В останні роки компанія інвестувала значні кошти в сектор машинного навчання (ML), розробивши сильне власне ноу-хау, що дозволило їй реалізувати дуже амбітні проекти, такі як автоматичний моніторинг її 2.3 мільйона кілометрів розподільчої мережі.
Щороку Enel перевіряє свою мережу розподілу електроенергії за допомогою вертольотів, автомобілів чи інших засобів; робить мільйони фотографій; і реконструює 3D-зображення своєї мережі, яка є a хмара точок 3D реконструкція мережі, отримана за допомогою технології LiDAR.
Вивчення цих даних має вирішальне значення для моніторингу стану електромережі, виявлення аномалій інфраструктури та оновлення баз даних встановлених активів, і це дозволяє детально контролювати інфраструктуру аж до матеріалу та стану найменшого ізолятора, встановленого на даному стовпі. Враховуючи обсяг даних (більше 40 мільйонів зображень щороку тільки в Італії), кількість елементів, які потрібно ідентифікувати, та їхню специфіку, повністю ручний аналіз є дуже дорогим, як з точки зору часу, так і грошей, і схильний до помилок. На щастя, завдяки величезним досягненням у світі комп’ютерного зору та глибокого навчання, а також зрілості та демократизації цих технологій, можна частково або навіть повністю автоматизувати цей дорогий процес.
Звичайно, це завдання залишається дуже складним і, як і всі сучасні додатки ШІ, вимагає обчислювальної потужності та здатності ефективно обробляти великі обсяги даних.
На основі Enel створила власну платформу ML (внутрішню назву – фабрика ML). Amazon SageMaker, а платформа створена як стандартне рішення для створення та навчання моделей в Enel для різних випадків використання в різних цифрових хабах (бізнес-одиницях) з десятками проектів МЛ, які розробляються на Навчання Amazon SageMaker, Обробка Amazon SageMakerта інші послуги AWS Функції кроку AWS.
Enel збирає зображення та дані з двох різних джерел:
- Перевірки повітряної мережі:
- Лідарні хмари точок – Вони мають перевагу в тому, що вони надзвичайно точні та геолокалізовані 3D-реконструкції інфраструктури, і тому дуже корисні для обчислення відстаней або проведення вимірювань з точністю, яку неможливо отримати за допомогою аналізу 2D-зображень.
- Зображення з високою роздільною здатністю – Ці зображення інфраструктури зроблені з інтервалом у декілька секунд. Це дає змогу виявляти елементи та аномалії, які занадто малі, щоб їх можна було ідентифікувати в хмарі точок.
- Супутникові зображення – Хоча вони можуть бути доступнішими, ніж перевірка лінії електропередач (деякі доступні безкоштовно або за окрему плату), їх роздільна здатність і якість часто не відповідають зображенням, зробленим безпосередньо Enel. Характеристики цих зображень роблять їх корисними для певних завдань, як-от оцінка густоти лісу та макрокатегорії або пошук будівель.
У цьому дописі ми обговорюємо подробиці того, як Enel використовує ці три джерела, і розповідаємо, як Enel автоматизує керування великомасштабною оцінкою електромережі та процес виявлення аномалій за допомогою SageMaker.
Аналіз фотографій високої роздільної здатності для виявлення активів і аномалій
Як і інші неструктуровані дані, зібрані під час перевірок, зроблені фотографії зберігаються на Служба простого зберігання Amazon (Amazon S3). Деякі з них вручну позначені з метою навчання різних моделей глибокого навчання для різних завдань комп’ютерного зору.
Концептуально конвеєр обробки та логічного висновку передбачає ієрархічний підхід із кількома етапами: спочатку визначаються цікаві області на зображенні, потім вони обрізаються, активи ідентифікуються в них, і, нарешті, вони класифікуються відповідно до матеріалу або наявності аномалії на них. Оскільки один і той самий полюс часто з’являється на кількох зображеннях, також необхідно мати можливість групувати його зображення, щоб уникнути дублікатів, ця операція називається повторна ідентифікація.
Для всіх цих завдань Enel використовує структуру PyTorch і найновіші архітектури для класифікації зображень і виявлення об’єктів, такі як EfficientNet/EfficientDet або інші для семантичної сегментації певних аномалій, таких як витік масла на трансформаторах. Для завдання повторної ідентифікації, якщо вони не можуть зробити це геометрично через відсутність параметрів камери, вони використовують SimCLRвикористовуються самоконтрольовані методи або архітектури на основі трансформаторів. Було б неможливо навчити всі ці моделі без доступу до великої кількості екземплярів, оснащених високопродуктивними графічними процесорами, тому всі моделі навчалися паралельно за допомогою Навчання Amazon SageMaker завдання з екземплярами ML із прискоренням GPU. Висновок має таку саму структуру та керується автоматом стану Step Functions, який керує декількома завданнями обробки та навчання SageMaker, які, незважаючи на назву, так само придатні для навчання, як і для висновку.
Нижче наведено високорівневу архітектуру конвеєра ML з його основними етапами.
На цій діаграмі показано спрощену архітектуру конвеєра виведення зображень ODIN, який витягує та аналізує ROI (наприклад, стовпи електропостачання) із зображень набору даних. Трубопровід далі детально вивчає ROI, вилучаючи та аналізуючи електричні елементи (трансформатори, ізолятори тощо). Після завершення компонентів (ROI та елементів) починається процес повторної ідентифікації: зображення та полюси на карті мережі зіставляються на основі 3D-метаданих. Це дозволяє кластеризувати ROI, що відносяться до одного полюса. Після цього аномалії уточнюються та генеруються звіти.
Отримання точних вимірювань за допомогою хмар точок LiDAR
Фотографії високої роздільної здатності дуже корисні, але оскільки вони двовимірні, з них неможливо отримати точні вимірювання. Тут на допомогу приходять хмари точок LiDAR, оскільки вони тривимірні, і кожна точка в хмарі має своє положення з пов’язаною похибкою менше кількох сантиметрів.
Однак у багатьох випадках необроблена хмара точок не є корисною, оскільки ви не можете багато чого зробити, якщо не знаєте, чи набір точок представляє дерево, лінію електропередач чи будинок. З цієї причини Enel використовує KPConv, алгоритм сегментації семантичної хмари точок, щоб призначити клас кожній точці. Після класифікації хмари можна з’ясувати, чи є рослинність занадто близько до лінії електропередач, а не вимірювати нахил стовпів. Завдяки гнучкості сервісів SageMaker, конвеєр цього рішення мало чим відрізняється від уже описаного, з тією лише різницею, що в цьому випадку також необхідно використовувати екземпляри GPU для висновку.
Нижче наведено кілька прикладів зображень хмари точок.
Дивлячись на електромережу з космосу: картографуйте рослинність, щоб запобігти збоям у роботі
Перевірка електромережі за допомогою вертольотів та інших засобів, як правило, дуже дорога і не може проводитися занадто часто. З іншого боку, наявність системи моніторингу тенденцій вегетації в короткі проміжки часу надзвичайно корисна для оптимізації одного з найдорожчих процесів розподільника енергії: обрізки дерев. Ось чому Enel також включив у своє рішення аналіз супутникових зображень, на основі яких за допомогою багатозадачного підходу визначається, де присутня рослинність, її щільність і тип рослин, розділених на макрокласи.
Для цього випадку використання, після експериментів з різними роздільними здатностями, Enel дійшла висновку, що безкоштовна Зображення Sentinel 2 надані програмою Copernicus, мали найкраще співвідношення витрат і вигод. Окрім рослинності, Enel також використовує супутникові зображення для ідентифікації будівель, що є корисною інформацією, щоб зрозуміти, чи є розбіжності між їх присутністю та місцем, де Enel постачає електроенергію, а отже, будь-які нерегулярні з’єднання чи проблеми в базах даних. Для останнього випадку використання роздільної здатності Sentinel 2, де один піксель відповідає площі 10 квадратних метрів, недостатньо, тому купуються платні зображення з роздільною здатністю 50 квадратних сантиметрів. Це рішення також мало чим відрізняється від попередніх за кількістю використовуваних послуг і потоком.
Нижче наведено аерофотознімок з ідентифікацією активів (опори та ізолятори).
Анджела Італіано, директор відділу Data Science компанії ENEL Grid, каже:
«У Enel ми використовуємо моделі комп’ютерного бачення для перевірки нашої мережі розподілу електроенергії, реконструюючи 3D-зображення нашої мережі за допомогою десятків мільйонів високоякісних зображень і хмар точок LiDAR. Навчання цих моделей ML вимагає доступу до великої кількості екземплярів, оснащених високопродуктивними графічними процесорами та здатністю ефективно обробляти великі обсяги даних. За допомогою Amazon SageMaker ми можемо швидко навчати всі наші моделі паралельно, не потребуючи керування інфраструктурою, оскільки навчання Amazon SageMaker за потреби масштабує обчислювальні ресурси. Використовуючи Amazon SageMaker, ми можемо створювати 3D-зображення наших систем, відстежувати аномалії та ефективно обслуговувати понад 60 мільйонів клієнтів».
Висновок
У цьому дописі ми побачили, як такий провідний гравець у світі енергетики, як Enel, використовував моделі комп’ютерного бачення та завдання з навчання й обробки SageMaker, щоб вирішити одну з головних проблем тих, кому доводиться керувати інфраструктурою такого колосального розміру, відстежувати встановлені активів, а також визначати аномалії та джерела небезпеки для лінії електропередач, наприклад рослинність надто близько до неї.
Дізнайтеся більше про відповідні функції SageMaker.
Про авторів
Маріо Намтао Шианті Ларчер є керівником відділу комп’ютерного зору в Enel. Він має досвід математики, статистики та глибокий досвід машинного навчання та комп’ютерного зору, він очолює команду з понад десяти професіоналів. Роль Маріо передбачає впровадження передових рішень, які ефективно використовують потужність штучного інтелекту та комп’ютерного бачення для використання великих ресурсів даних Enel. Окрім своїх професійних зусиль, він плекає особисту пристрасть як до традиційного мистецтва, так і до мистецтва, створеного штучним інтелектом.
Крістіан Гаваццені є старшим архітектором рішень в Amazon Web Services. Він має понад 20 років досвіду роботи передпродажним консультантом, зосереджуючись на управлінні даними, інфраструктурі та безпеці. У вільний час він любить грати в гольф з друзями та подорожувати за кордон, бронюючи лише літаки та авто.
Джузеппе Анджело Порчеллі є головним спеціалістом з машинного навчання архітектором рішень для веб-сервісів Amazon. Маючи кілька років розробки програмного забезпечення та досвіду машинного навчання, він працює з клієнтами будь-якого розміру, щоб глибоко зрозуміти їхні бізнес- та технічні потреби та розробити рішення для штучного інтелекту та машинного навчання, які найкращим чином використовують хмару AWS та стек машинного навчання Amazon. Він працював над проектами в різних областях, включаючи MLOps, Computer Vision, NLP, і залучаючи широкий набір послуг AWS. У вільний час Джузеппе любить грати у футбол.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 10
- 100
- 13
- 20
- 20 роки
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- здатність
- Здатний
- МЕНЮ
- прискорений
- доступ
- За
- точність
- точний
- через
- доповнення
- просунутий
- аванси
- Перевага
- доступний
- після
- AI
- алгоритм
- ВСІ
- дозволяє
- вже
- Також
- хоча
- Amazon
- Амазонське машинне навчання
- Amazon SageMaker
- Amazon Web Services
- честолюбний
- кількість
- an
- аналіз
- аналізи
- Аналізуючи
- та
- виявлення аномалії
- будь-який
- з'являється
- застосування
- підхід
- архітектурний
- архітектура
- ЕСТЬ
- ПЛОЩА
- Art
- AS
- оцінка
- активи
- управління активами
- Активи
- асоційований
- At
- автоматизувати
- автоматизує
- автоматичний
- доступний
- уникнути
- AWS
- фон
- заснований
- BE
- оскільки
- буття
- КРАЩЕ
- між
- бронювання
- обидва
- широкий
- будувати
- побудований
- бізнес
- але
- by
- розрахунок
- званий
- кімната
- CAN
- потужність
- автомобілів
- випадок
- випадків
- певний
- складні
- характеристика
- клас
- класів
- класифікація
- класифікований
- близько
- хмара
- Кластеризація
- Приходити
- компанія
- повністю
- Компоненти
- обчислення
- комп'ютер
- Комп'ютерне бачення
- обчислення
- обчислювальна потужність
- уклали
- Зв'язки
- консультант
- контроль
- дорого
- країни
- Курс
- критичний
- Клієнти
- НЕБЕЗПЕЧНО
- дані
- управління даними
- наука про дані
- базами даних
- глибокий
- глибоке навчання
- постачає
- демократизація
- описаний
- дизайн
- Незважаючи на
- деталі
- виявляти
- Виявлення
- розвиненою
- розвивається
- відрізняються
- різниця
- різний
- цифровий
- безпосередньо
- Директор
- обговорювати
- розподіл
- розділений
- do
- Ні
- домени
- зроблений
- Не знаю
- вниз
- управляти
- два
- дублікати
- під час
- кожен
- фактично
- продуктивно
- електрика
- елементи
- включений
- зусиль
- енергія
- Машинобудування
- величезний
- суб'єкта
- обладнаний
- помилка
- встановлений
- оцінки
- Навіть
- Приклади
- дорогий
- досвід
- експертиза
- обширний
- витяг
- Виписки
- надзвичайно
- завод
- риси
- плата
- Рисунок
- завершено
- в кінці кінців
- виявлення
- Перший
- Гнучкість
- потік
- фокусування
- після
- футбол
- для
- ліс
- На щастя
- Рамки
- Безкоштовна
- часто
- друзі
- від
- Функції
- далі
- в цілому
- генерується
- отримати
- даний
- мета
- гольф
- керує
- GPU
- Графічні процесори
- сітка
- Group
- гість
- Guest Post
- було
- рука
- жменя
- обробляти
- Мати
- має
- he
- голова
- сильно
- тут
- на вищому рівні
- висока продуктивність
- високоякісний
- висока роздільна здатність
- його
- будинок
- Як
- HTML
- HTTP
- HTTPS
- Ідентифікація
- ідентифікований
- ідентифікувати
- ідентифікує
- if
- зображення
- Класифікація зображень
- зображень
- реалізації
- неможливе
- in
- включені
- У тому числі
- інформація
- Інфраструктура
- встановлений
- інтерес
- внутрішньо
- в
- інвестицій
- за участю
- IT
- Італія
- пунктів
- ЙОГО
- Джобс
- JPG
- просто
- тримати
- Знати
- відсутність
- великий
- масштабний
- останній
- Веде за собою
- Витоку
- вивчення
- менше
- Важіль
- як
- Сподобалося
- Лінія
- машина
- навчання за допомогою машини
- Macro
- головний
- зробити
- РОБОТИ
- управляти
- управління
- керівництво
- вручну
- багато
- карта
- відображення
- марио
- відповідає
- матеріал
- математика
- зрілість
- засоби
- вимірювання
- вимір
- метадані
- методика
- мільйона
- мільйони
- ML
- MLOps
- Моделі
- сучасний
- гроші
- монітор
- моніторинг
- більше
- найбільш
- багато
- багатонаціональний
- множинний
- ім'я
- National
- необхідно
- необхідний
- нужденних
- потреби
- мережу
- nlp
- номер
- об'єкт
- Виявлення об'єктів
- отриманий
- of
- часто
- Нафта
- on
- ONE
- ті,
- тільки
- операція
- оператор
- оптимізуючий
- or
- організував
- Інше
- інші
- наші
- з
- над
- власний
- Паралельні
- параметри
- пристрасть
- персонал
- фотографії
- картина
- трубопровід
- піксель
- Рослини
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- гравець
- ігри
- точка
- точок
- положення
- це можливо
- пошта
- Пости
- влада
- Енергосистема
- необхідність
- наявність
- представити
- запобігати
- попередній
- Головний
- приватний
- проблеми
- процес
- процеси
- обробка
- професійний
- професіонали
- глибокий
- програма
- проектів
- за умови
- придбано
- піторх
- якість
- швидко
- швидше
- співвідношення
- Сировина
- реалізувати
- причина
- останній
- визнаний
- райони
- пов'язаний
- залишається
- Поновлювані джерела енергії
- Звіти
- представляє
- Вимагається
- рятувати
- дозвіл
- ресурси
- Роль
- мудрець
- то ж
- супутник
- бачив
- говорить
- ваги
- наука
- seconds
- сектор
- безпеку
- сегментація
- старший
- служити
- обслуговування
- Послуги
- комплект
- кілька
- Поділитись
- Короткий
- Шоу
- простий
- спрощений
- Розмір
- невеликий
- So
- Софтвер
- розробка програмного забезпечення
- рішення
- Рішення
- ВИРІШИТИ
- деякі
- Джерела
- Простір
- спеціаліст
- специфічність
- площа
- стек
- standard
- почалася
- стан
- статистика
- Статус
- Крок
- заходи
- зберігання
- зберігати
- сильний
- структура
- такі
- достатній
- система
- Systems
- прийняті
- приймає
- взяття
- Завдання
- завдання
- команда
- технічний
- Технології
- Технологія
- десять
- тензор
- terms
- ніж
- Дякую
- Що
- Команда
- Держава
- світ
- їх
- Їх
- потім
- Там.
- отже
- Ці
- вони
- це
- ті
- три
- час
- до
- сьогодні
- занадто
- топ
- трек
- традиційний
- поїзд
- навчений
- Навчання
- Трансформатори
- дерево
- Тенденції
- два
- тип
- розуміти
- одиниць
- оновлення
- корисний
- використання
- використання випадку
- використовуваний
- користувачі
- використовує
- використання
- використовувати
- дуже
- бачення
- Обсяги
- we
- Web
- веб-сервіси
- ДОБРЕ
- були
- Чи
- який
- ВООЗ
- чому
- Вікіпедія
- з
- в
- без
- працював
- працює
- світ
- б
- рік
- років
- Ти
- зефірнет