Улучшение работоспособности активов и устойчивости сети с помощью машинного обучения | Веб-сервисы Amazon

Этот пост написан в соавторстве с Трэвисом Бронсоном и Брайаном Л. Вилкерсоном из Duke Energy.

Машинное обучение (МО) трансформирует каждую отрасль, процесс и бизнес, но путь к успеху не всегда прост. В этой статье мы покажем, как Duke Energy, компания из списка Fortune 150 со штаб-квартирой в Шарлотте, Северная Каролина, сотрудничала с Лаборатория решений AWS для машинного обучения (MLSL) использовать компьютерное зрение для автоматизации проверки деревянных опор и предотвращения перебоев в подаче электроэнергии, повреждения имущества и даже травм.

Электрическая сеть состоит из столбов, линий и электростанций, которые производят и доставляют электроэнергию миллионам домов и предприятий. Эти опоры являются важнейшими компонентами инфраструктуры и подвержены воздействию различных факторов окружающей среды, таких как ветер, дождь и снег, которые могут привести к износу активов. Крайне важно регулярно проверять и обслуживать опоры, чтобы предотвратить сбои, которые могут привести к отключениям электроэнергии, материальному ущербу и даже травмам. Большинство энергетических компаний, в том числе Duke Energy, используют ручной визуальный осмотр опор для выявления аномалий, связанных с их сетями передачи и распределения. Но этот метод может оказаться дорогостоящим и отнимать много времени, а также требует, чтобы работники линий электропередачи соблюдали строгие протоколы безопасности.

В прошлом Duke Energy с большим успехом использовала искусственный интеллект для повышения эффективности повседневных операций. Компания использовала ИИ для проверки генерирующих активов и критической инфраструктуры, а также изучает возможности применения ИИ для проверки опор электропередач. В ходе сотрудничества лаборатории решений машинного обучения AWS с Duke Energy компания продвинулась в работе по автоматизации обнаружения аномалий в деревянных столбах с использованием передовых методов компьютерного зрения.

Цели и вариант использования

Целью сотрудничества между Duke Energy и Лабораторией решений по машинному обучению является использование машинного обучения для проверки сотен тысяч аэрофотоснимков с высоким разрешением, чтобы автоматизировать процесс выявления и проверки всех проблем, связанных с деревянными опорами, на линиях электропередачи протяженностью 33,000 XNUMX миль. . Эта цель в дальнейшем поможет Duke Energy повысить отказоустойчивость сети и обеспечить соблюдение правительственных постановлений за счет своевременного выявления дефектов. Это также снизит затраты на топливо и рабочую силу, а также сократит выбросы углекислого газа за счет минимизации ненужных выездов грузовиков. Наконец, это также повысит безопасность за счет минимизации пройденных миль, подъемов на столбы и рисков физического осмотра, связанных с ухудшением рельефа и погодных условий.

В следующих разделах мы представляем ключевые проблемы, связанные с разработкой надежных и эффективных моделей обнаружения аномалий, связанных с деревянными опорами. Мы также описываем ключевые проблемы и предположения, связанные с различными методами предварительной обработки данных, используемыми для достижения желаемой производительности модели. Далее мы представляем ключевые показатели, используемые для оценки производительности модели, а также для оценки наших окончательных моделей. И, наконец, мы сравниваем различные современные методы контролируемого и неконтролируемого моделирования.

Вызовы

Одной из ключевых проблем, связанных с обучением модели обнаружению аномалий с использованием аэрофотоснимков, являются неоднородные размеры изображений. На следующем рисунке показано распределение высоты и ширины изображения в образце набора данных от Duke Energy. Можно заметить, что изображения имеют большие различия по размеру. Аналогичным образом, размер изображений также создает серьезные проблемы. Размер входных изображений составляет тысячи пикселей в ширину и тысячи пикселей в длину. Это также не идеально подходит для обучения модели выявлению небольших аномальных областей на изображении.

Кроме того, входные изображения содержат большое количество нерелевантной фоновой информации, такой как растительность, автомобили, сельскохозяйственные животные и т. д. Фоновая информация может привести к неоптимальной производительности модели. По нашей оценке, только 5% изображения содержит деревянные столбы, а аномалии еще меньше. Это серьезная проблема для выявления и локализации аномалий на изображениях высокого разрешения. Количество аномалий существенно меньше по сравнению со всем набором данных. Во всем наборе данных аномальных изображений всего 0.12% (т.е. 1.2 аномалии на 1000 изображений). Наконец, нет помеченных данных для обучения модели машинного обучения с учителем. Далее мы опишем, как мы решаем эти проблемы, и объясним предлагаемый нами метод.

Обзор решения

Методы моделирования

На следующем рисунке показан наш конвейер обработки изображений и обнаружения аномалий. Сначала мы импортировали данные в Сервис Amazon Simple Storage (Amazon S3) через Студия Amazon SageMaker. Кроме того, мы использовали различные методы обработки данных для решения некоторых из проблем, отмеченных выше, и улучшения производительности модели. После предварительной обработки данных мы использовали Amazon. Пользовательские этикетки Rekognition для маркировки данных. Размеченные данные в дальнейшем используются для обучения контролируемых моделей машинного обучения, таких как Vision Transformer, Amazon Lookout для виденияи АвтоГлоун для обнаружения аномалий.

На следующем рисунке показан подробный обзор предлагаемого нами подхода, который включает в себя конвейер обработки данных и различные алгоритмы машинного обучения, используемые для обнаружения аномалий. Сначала мы опишем этапы конвейера обработки данных. Далее мы объясним детали и интуицию, связанные с различными методами моделирования, используемыми во время этого взаимодействия для достижения желаемых целей производительности.

Предварительная обработка данных

Предлагаемый конвейер предварительной обработки данных включает в себя стандартизация данных, идентификация области интереса (ROI), увеличение данных, сегментация данных и в конце концов маркировка данных. Цель каждого шага описана ниже:

Стандартизация данных

Первый шаг в нашем конвейере обработки данных включает стандартизацию данных. На этом этапе каждое изображение обрезается и делится на неперекрывающиеся участки размером 224 х 224 пикселей. Цель этого шага — создать патчи одинаковых размеров, которые в дальнейшем можно было бы использовать для обучения модели ML и локализации аномалий на изображениях с высоким разрешением.

Определение области интереса (ROI)

Входные данные состоят из изображений высокого разрешения, содержащих большое количество нерелевантной фоновой информации (например, растительность, дома, автомобили, лошади, коровы и т. д.). Наша цель — выявить аномалии, связанные с деревянными столбами. Чтобы идентифицировать рентабельность инвестиций (т. е. участки, содержащие деревянный столб), мы использовали специальную маркировку Amazon Rekognition. Мы обучили модель настраиваемых меток Amazon Rekognition, используя изображения с метками 3k, содержащие как рентабельность инвестиций, так и фоновые изображения. Цель модели — провести двоичную классификацию между рентабельностью инвестиций и фоновыми изображениями. Участки, идентифицированные как фоновая информация, отбрасываются, а культуры, прогнозируемые как рентабельность инвестиций, используются на следующем этапе. На следующем рисунке показан конвейер, определяющий рентабельность инвестиций. Мы создали выборку непересекающихся обрезков из 1,110 деревянных изображений, из которых получилось 244,673 11,356 обрезки. Далее мы использовали эти изображения в качестве входных данных для специальной модели Amazon Rekognition, которая определила рентабельность инвестиций для 11,356 10,969 культур. Наконец, мы вручную проверили каждое из этих 11,356 96 исправлений. В ходе ручной проверки мы обнаружили, что модель способна правильно предсказать рентабельность инвестиций для XNUMX XNUMX участков древесины из XNUMX XNUMX. Другими словами, модель достигла точности XNUMX%.

Маркировка данных

Во время ручной проверки изображений мы также пометили каждое изображение соответствующими метками. Соответствующие метки изображений включают участки дерева, участки без дерева, участки без структуры, участки без дерева и, наконец, участки дерева с аномалиями. На следующем рисунке показана номенклатура изображений с использованием специальной маркировки Amazon Rekognition.

Увеличение данных

Учитывая ограниченное количество помеченных данных, доступных для обучения, мы дополнили набор обучающих данных, перевернув все патчи по горизонтали. Это привело к удвоению размера нашего набора данных.

Сегментация

Мы пометили объекты на 600 изображениях (столбы, провода и металлические перила) с помощью инструмента маркировки объектов в ограничительной рамке в Amazon Rekognition Custom Labels и обучили модель обнаружению трех основных объектов, представляющих интерес. Мы использовали обученную модель для удаления фона из всех изображений, идентифицируя и извлекая полюса на каждом изображении, удаляя при этом все остальные объекты, а также фон. В полученном наборе данных было меньше изображений, чем в исходном наборе данных, поскольку были удалены все изображения, не содержащие деревянных шестов. Кроме того, из набора данных было удалено ложноположительное изображение.

Обнаружение аномалий

Далее мы используем предварительно обработанные данные для обучения модели машинного обучения обнаружению аномалий. Мы использовали три различных метода обнаружения аномалий, включая сервисы управляемого машинного обучения AWS (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon и метод самодистилляции на основе Vision Transformer.

Сервисы AWS

Amazon Lookout for Vision (L4V)

Amazon Lookout for Vision — это управляемый сервис AWS, который обеспечивает быстрое обучение и развертывание моделей машинного обучения, а также предоставляет возможности обнаружения аномалий. Для этого требуются полностью размеченные данные, которые мы предоставили, указав пути к изображениям в Amazon S3. Обучение модели так же просто, как один вызов API (интерфейс прикладного программирования) или нажатие кнопки консоли, и L4V автоматически позаботится о выборе модели и настройке гиперпараметров.

Апостол

Amazon Rekognition — это управляемый сервис AI/ML, аналогичный L4V, который скрывает детали моделирования и предоставляет множество возможностей, таких как классификация изображений, обнаружение объектов, настраиваемая маркировка и многое другое. Он предоставляет возможность использовать встроенные модели для применения к ранее известным объектам в изображениях (например, из ImageNet или других больших открытых наборов данных). Однако мы использовали функцию пользовательских меток Amazon Rekognition для обучения детектора рентабельности инвестиций, а также детектора аномалий на конкретных изображениях, имеющихся у Duke Energy. Мы также использовали пользовательские метки Amazon Rekognition, чтобы обучить модель размещать ограничивающие рамки вокруг деревянных шестов на каждом изображении.

АвтоГлоун

AutoGluon — это метод машинного обучения с открытым исходным кодом, разработанный Amazon. AutoGluon включает в себя мультимодальный компонент, который позволяет легко обучать данным изображения. Мы использовали AutoGluon Multi-modal для обучения моделей на помеченных участках изображения, чтобы установить базовую линию для выявления аномалий.

Трансформатор видения

Многие из наиболее интересных прорывов в области ИИ стали результатом двух недавних инноваций: самоконтролируемого обучения, которое позволяет машинам учиться на случайных, неразмеченных примерах; и Трансформеры, которые позволяют моделям ИИ выборочно сосредотачиваться на определенных частях входных данных и, таким образом, рассуждать более эффективно. Оба метода постоянно находятся в центре внимания сообщества машинного обучения, и мы рады сообщить, что использовали их в этом проекте.

В частности, работая в сотрудничестве с исследователями из Duke Energy, мы использовали предварительно обученные модели самодистилляции ViT (Vision Transformer) в качестве экстракторов функций для последующего приложения по обнаружению аномалий с помощью Amazon Sagemaker. Предварительно обученные модели преобразователей машинного зрения с самоочисткой обучаются на большом объеме обучающих данных, хранящихся в Amazon S3, в режиме самоконтроля с использованием Amazon SageMaker. Мы используем возможности трансферного обучения моделей ViT, предварительно обученных на крупномасштабных наборах данных (например, ImageNet). Это помогло нам добиться запоминаемости 83% на оценочном наборе, используя для обучения всего несколько тысяч помеченных изображений.

Метрики оценки

На следующем рисунке показаны ключевые показатели, используемые для оценки производительности модели и ее влияния. Основная цель модели — максимизировать обнаружение аномалий (т. е. истинных положительных результатов) и свести к минимуму количество ложноотрицательных результатов или случаев, когда аномалии, которые могут привести к сбоям в работе, классифицируются неправильно.

После выявления аномалий технические специалисты могут устранить их, предотвращая будущие сбои и обеспечивая соблюдение государственных постановлений. Есть еще одно преимущество минимизации ложных срабатываний: вы избегаете ненужных усилий по повторному просмотру изображений.

Помня об этих показателях, мы отслеживаем производительность модели с точки зрения следующих показателей, которые инкапсулируют все четыре показателя, определенные выше.

Точность

Процент обнаруженных аномалий, которые являются реальными аномалиями для интересующих объектов. Точность показывает, насколько хорошо наш алгоритм выявляет только аномалии. В этом случае высокая точность означает низкий уровень ложных тревог (т. е. алгоритм ошибочно идентифицирует нору дятла, хотя на изображении ее нет).

Вспоминать

Процент всех аномалий, которые удалось восстановить для каждого интересующего объекта. Напомним, насколько хорошо мы выявляем все аномалии. Этот набор охватывает некоторый процент от полного набора аномалий, и этот процент является отзывом. В этом случае высокий уровень отзыва означает, что мы умеем ловить норы дятла, когда они возникают. Таким образом, отзыв является правильным показателем, на котором следует сосредоточиться в этом POC, поскольку ложные тревоги в лучшем случае раздражают, а пропущенные аномалии могут привести к серьезным последствиям, если их оставить без внимания.

Меньший отзыв может привести к сбоям в работе и нарушениям государственного регулирования. А более низкая точность приводит к напрасной трате человеческих усилий. Основная цель этого взаимодействия — выявить все аномалии, чтобы соответствовать государственному постановлению и избежать сбоев, поэтому мы уделяем приоритетное внимание улучшению отзыва, а не точности.

Оценка и сравнение моделей

В следующем разделе мы продемонстрируем сравнение различных методов моделирования, использованных в ходе этого взаимодействия. Мы оценили производительность двух сервисов AWS — Amazon Rekognition и Amazon Lookout for Vision. Мы также оценили различные методы моделирования с использованием AutoGluon. Наконец, мы сравниваем производительность с современным методом самодистилляции на основе ViT.

На следующем рисунке показано улучшение модели AutoGluon с использованием различных методов обработки данных за период этого взаимодействия. Ключевое наблюдение: по мере того, как мы улучшаем качество и количество данных, производительность модели с точки зрения полноты улучшается с менее 30% до 78%.

Далее мы сравним производительность AutoGluon с сервисами AWS. Мы также использовали различные методы обработки данных, которые помогли улучшить производительность. Однако основное улучшение произошло за счет увеличения количества и качества данных. Мы увеличиваем размер набора данных с 11 тыс. изображений в общей сложности до 60 тыс. изображений.

Далее мы сравниваем производительность сервисов AutoGluon и AWS с методом на основе ViT. На следующем рисунке показано, что метод на основе ViT, сервисы AutoGluon и AWS работают на одном уровне с точки зрения отзыва. Одним из ключевых наблюдений является то, что после определенного момента увеличение качества и количества данных не помогает повысить производительность с точки зрения запоминания. Однако мы наблюдаем улучшения в плане точности.

Сравнение точности и полноты

Amazon Автоглюон	Прогнозируемые аномалии	Прогнозируемый нормальный
аномалии	15600	4400
нормальная	3659	38341

Далее мы представляем матрицу путаницы для методов на основе AutoGluon и Amazon Rekognition и ViT, используя наш набор данных, содержащий 62 тыс. образцов. Из 62 20 образцов 42 16,600 являются аномальными, а остальные 16,000 15600 изображений являются нормальными. Можно заметить, что методы на основе ViT фиксируют наибольшее количество аномалий (3659 5918), за ними следуют Amazon Rekognition (15323 XNUMX) и Amazon AutoGluon (XNUMX XNUMX). Аналогичным образом, Amazon AutoGluon имеет наименьшее количество ложных срабатываний (XNUMX изображений), за ним следуют Amazon Rekognition (XNUMX) и ViT (XNUMX). Эти результаты показывают, что Amazon Rekognition достигает наивысшего значения AUC (площадь под кривой).

Апостол	Прогнозируемые аномалии	Прогнозируемый нормальный
аномалии	16,000	4000
нормальная	5918	36082

ВиТ	Прогнозируемые аномалии	Прогнозируемый нормальный
аномалии	16,600	3400
нормальная	15,323	26,677

Заключение

В этом посте мы показали вам, как команды MLSL и Duke Energy работали вместе над разработкой решения на основе компьютерного зрения для автоматизации обнаружения аномалий в деревянных столбах с использованием изображений высокого разрешения, собранных во время полетов вертолета. Предлагаемое решение использовало конвейер обработки данных для обрезки изображения с высоким разрешением для стандартизации размера. Обрезанные изображения дополнительно обрабатываются с помощью пользовательских меток Amazon Rekognition для идентификации интересующей области (т. е. культур, содержащих участки с шестами). Amazon Rekognition достигла точности 96 % с точки зрения правильной идентификации участков с опорами. Полученные данные о рентабельности инвестиций в дальнейшем используются для обнаружения аномалий с использованием самодистилляции mdoel AutoGluon на основе ViT и сервисов AWS для обнаружения аномалий. Мы использовали стандартный набор данных для оценки эффективности всех трех методов. Модель на основе ViT достигла полноты 83% и точности 52%. AutoGluon достиг 78% точности и 81% точности. Наконец, Amazon Rekognition достигает 80 % точности и 73 % точности. Цель использования трех разных методов — сравнить производительность каждого метода с разным количеством обучающих выборок, временем обучения и временем развертывания. Обучение и развертывание всех этих методов занимает менее 2 часов с использованием одного экземпляра графического процессора A100 или управляемых сервисов на Amazon AWS. Следующие шаги по дальнейшему улучшению производительности модели включают добавление дополнительных обучающих данных для повышения точности модели.

В целом, сквозной конвейер, предложенный в этом посте, помогает добиться значительных улучшений в обнаружении аномалий, минимизируя при этом эксплуатационные расходы, инциденты, связанные с безопасностью, нормативные риски, выбросы углекислого газа и потенциальные перебои в подаче электроэнергии.

Разработанное решение может быть использовано для других случаев обнаружения аномалий и проверки работоспособности активов в сетях передачи и распределения, включая дефекты в изоляторах и другом оборудовании. Для получения дополнительной помощи в разработке и настройке этого решения, пожалуйста, свяжитесь с командой MLSL.

---

Об авторах

Трэвис Бронсон — ведущий специалист по искусственному интеллекту с 15-летним опытом работы в области технологий и 8-летним опытом работы в сфере искусственного интеллекта. За пять лет работы в Duke Energy Трэвис продвинулся в применении искусственного интеллекта для цифровой трансформации, привнося уникальные идеи и творческое мышление в передовые подразделения своей компании. В настоящее время Трэвис возглавляет основную команду AI — сообщество практиков, энтузиастов и деловых партнеров в области искусственного интеллекта, занимающихся улучшением результатов и управления искусственным интеллектом. Трэвис приобрел и усовершенствовал свои навыки во многих технологических областях, начиная с ВМС США и правительства США, а затем, после более чем десятилетней службы, перешел в частный сектор.

 Брайан Вилкерсон — опытный профессионал с двадцатилетним опытом работы в Duke Energy. Имея степень в области компьютерных наук, он последние 7 лет добился успехов в области искусственного интеллекта. Брайан — соучредитель MADlab компании Duke Energy (команда машинного обучения, искусственного интеллекта и глубокого обучения). В настоящее время он занимает должность директора по искусственному интеллекту и трансформации в компании Duke Energy, где он с энтузиазмом работает над повышением эффективности бизнеса за счет внедрения искусственного интеллекта.

Ахсан Али — учёный-прикладник в инновационном центре Amazon Generative AI, где он работает с клиентами из разных областей над решением их неотложных и дорогостоящих проблем с помощью генеративного искусственного интеллекта.

Тахин Сайед — учёный-прикладник в Инновационном центре генеративного искусственного интеллекта Amazon, где он работает с клиентами, помогая достигать бизнес-результатов с помощью решений генеративного искусственного интеллекта. Вне работы он любит пробовать новую еду, путешествовать и преподавать тхэквондо.

Д-р Нкечиньере Н. Агу — научный сотрудник Инновационного центра генеративного искусственного интеллекта AWS. Ее опыт заключается в методах компьютерного зрения AI/ML, применении AI/ML в здравоохранении, а также в интеграции семантических технологий (графиков знаний) в решения ML. Имеет степени магистра и доктора компьютерных наук.

Альдо Арисменди — специалист по стратегии генеративного ИИ в Инновационном центре генеративного ИИ AWS в Остине, штат Техас. Получив степень бакалавра компьютерной инженерии в Университете Небраски-Линкольн, за последние 12 лет г-н Арисменди помог сотням компаний и стартапов из списка Fortune 500 трансформировать свой бизнес с помощью передовой аналитики, машинного обучения и генеративного искусственного интеллекта.

Стейси Дженкс — главный специалист по продажам аналитики в AWS с более чем двадцатилетним опытом работы в области аналитики и искусственного интеллекта и машинного обучения. Стейси увлечена глубоким изучением инициатив клиентов и достижением трансформационных, измеримых бизнес-результатов с помощью данных. Она с особым энтузиазмом относится к тому следу, который коммунальные предприятия оставят в обществе на пути к более зеленой планете с доступной, надежной и чистой энергией.

Мехди Нур — менеджер по прикладным наукам в инновационном центре Generative Ai. Обладая страстью к объединению технологий и инноваций, он помогает клиентам AWS раскрыть потенциал генеративного искусственного интеллекта, превращая потенциальные проблемы в возможности для быстрого экспериментирования и инноваций, уделяя особое внимание масштабируемому, измеримому и эффективному использованию передовых технологий искусственного интеллекта и оптимизируя путь. к производству.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• ЧартПрайм. Улучшите свою торговую игру с ChartPrime. Доступ здесь.
• Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/