Este é um post de Mario Namtao Shianti Larcher, chefe de visão computacional da Enel.
Enel, que começou como a entidade nacional de eletricidade da Itália, é hoje uma empresa multinacional presente em 32 países e a primeira operadora de rede privada do mundo com 74 milhões de usuários. Também é reconhecido como o primeiro player renovável com 55.4 GW de capacidade instalada. Nos últimos anos, a empresa investiu fortemente no setor de aprendizado de máquina (ML), desenvolvendo um forte know-how interno que lhe permitiu realizar projetos muito ambiciosos, como o monitoramento automático de seus 2.3 milhões de quilômetros de rede de distribuição.
Todos os anos, a Enel inspeciona sua rede de distribuição de eletricidade com helicópteros, carros ou outros meios; tira milhões de fotografias; e reconstrói a imagem 3D de sua rede, que é uma Nuvem Reconstrução 3D da rede, obtida com a tecnologia LiDAR.
O exame desses dados é fundamental para monitorar o estado da rede elétrica, identificar anomalias de infraestrutura e atualizar bancos de dados de ativos instalados, além de permitir o controle granular da infraestrutura até o material e estado do menor isolador instalado em um determinado poste. Dada a quantidade de dados (mais de 40 milhões de imagens por ano apenas na Itália), o número de itens a serem identificados e sua especificidade, uma análise totalmente manual é muito cara, tanto em termos de tempo quanto dinheiro, e sujeita a erros. Felizmente, graças aos enormes avanços no mundo da visão computacional e aprendizagem profunda e à maturidade e democratização dessas tecnologias, é possível automatizar parcialmente ou mesmo totalmente esse caro processo.
É claro que a tarefa continua muito desafiadora e, como todos os aplicativos de IA modernos, requer poder de computação e capacidade de lidar com grandes volumes de dados com eficiência.
A Enel construiu sua própria plataforma ML (chamada internamente de fábrica ML) com base em Amazon Sage Maker, e a plataforma é estabelecida como a solução padrão para construir e treinar modelos na Enel para diferentes casos de uso, em diferentes hubs digitais (unidades de negócios) com dezenas de projetos de ML sendo desenvolvidos em Treinamento Amazon SageMaker, Processamento do Amazon SageMaker, e outros serviços da AWS como Funções de etapa da AWS.
A Enel coleta imagens e dados de duas fontes diferentes:
- Inspeções de redes aéreas:
- nuvens de pontos LiDAR – Eles têm a vantagem de ser uma reconstrução 3D extremamente precisa e geolocalizada da infraestrutura e, portanto, são muito úteis para calcular distâncias ou fazer medições com uma precisão não obtida com a análise de imagens 2D.
- Imagens de alta resolução – Essas imagens da infraestrutura são tiradas em segundos uma da outra. Isso permite detectar elementos e anomalias muito pequenos para serem identificados na nuvem de pontos.
- Imagens de satélite – Embora possam ser mais acessíveis do que uma inspeção de linha de energia (algumas estão disponíveis gratuitamente ou por uma taxa), sua resolução e qualidade geralmente não são equivalentes às imagens tiradas diretamente pela Enel. As características dessas imagens as tornam úteis para certas tarefas, como avaliar a densidade da floresta e macrocategoria ou encontrar edifícios.
Nesta postagem, discutimos os detalhes de como a Enel usa essas três fontes e compartilhamos como a Enel automatiza seu gerenciamento de avaliação de rede elétrica em larga escala e o processo de detecção de anomalias usando o SageMaker.
Analisar fotografias de alta resolução para identificar ativos e anomalias
Tal como acontece com outros dados não estruturados recolhidos durante as inspeções, as fotografias tiradas são armazenadas em Serviço de armazenamento simples da Amazon (Amazônia S3). Alguns deles são rotulados manualmente com o objetivo de treinar diferentes modelos de aprendizado profundo para diferentes tarefas de visão computacional.
Conceitualmente, o pipeline de processamento e inferência envolve uma abordagem hierárquica com várias etapas: primeiro, as regiões de interesse na imagem são identificadas, depois são cortadas, os ativos são identificados dentro delas e, finalmente, são classificados de acordo com o material ou presença de anomalias nelas. Como muitas vezes o mesmo pólo aparece em mais de uma imagem, também é necessário poder agrupar suas imagens para evitar duplicidades, operação chamada reidentificação.
Para todas essas tarefas, a Enel usa a estrutura PyTorch e as arquiteturas mais recentes para classificação de imagens e detecção de objetos, como EficienteNet/EficienteDet ou outros para a segmentação semântica de certas anomalias, como vazamentos de óleo em transformadores. Para a tarefa de reidentificação, se não puderem fazer isso geometricamente por falta de parâmetros da câmera, eles usam SimCLRGenericNamesão usados métodos autossupervisionados ou arquiteturas baseadas em Transformer. Seria impossível treinar todos esses modelos sem ter acesso a um grande número de instâncias equipadas com GPUs de alto desempenho, então todos os modelos foram treinados em paralelo usando Treinamento Amazon SageMaker jobs com instâncias de ML aceleradas por GPU. A inferência tem a mesma estrutura e é orquestrada por uma máquina de estado do Step Functions que controla vários trabalhos de treinamento e processamento do SageMaker que, apesar do nome, podem ser usados tanto no treinamento quanto na inferência.
Veja a seguir uma arquitetura de alto nível do pipeline de ML com suas principais etapas.
Este diagrama mostra a arquitetura simplificada do pipeline de inferência de imagem ODIN, que extrai e analisa ROIs (como postes de eletricidade) de imagens de conjunto de dados. A tubulação detalha ainda mais as ROIs, extraindo e analisando elementos elétricos (transformadores, isoladores e assim por diante). Depois que os componentes (ROIs e elementos) são finalizados, o processo de reidentificação começa: imagens e polos no mapa de rede são combinados com base em metadados 3D. Isso permite o agrupamento de ROIs referentes ao mesmo polo. Depois disso, as anomalias são finalizadas e os relatórios são gerados.
Extraindo medições precisas usando nuvens de pontos LiDAR
Fotografias de alta resolução são muito úteis, mas como são 2D, é impossível extrair medições precisas delas. As nuvens de pontos LiDAR vêm em socorro aqui, porque são 3D e têm cada ponto na nuvem uma posição com um erro associado de menos de alguns centímetros.
No entanto, em muitos casos, uma nuvem de pontos bruta não é útil, porque você não pode fazer muito com ela se não souber se um conjunto de pontos representa uma árvore, uma linha de energia ou uma casa. Por esse motivo, a Enel utiliza KPConvGenericName, um algoritmo de segmentação de nuvem de pontos semânticos, para atribuir uma classe a cada ponto. Depois que a nuvem é classificada, é possível descobrir se a vegetação está muito próxima da linha de energia, em vez de medir a inclinação dos postes. Devido à flexibilidade dos serviços do SageMaker, o pipeline desta solução não é muito diferente do já descrito, com a única diferença de que neste caso é necessário utilizar instâncias de GPU também para inferência.
A seguir estão alguns exemplos de imagens de nuvens de pontos.
Observando a rede elétrica do espaço: mapeando a vegetação para evitar interrupções no serviço
Inspecionar a rede elétrica com helicópteros e outros meios geralmente é muito caro e não pode ser feito com muita frequência. Por outro lado, ter um sistema para monitorar as tendências da vegetação em curtos intervalos de tempo é extremamente útil para otimizar um dos processos mais caros de uma distribuidora de energia: a poda de árvores. É por isso que a Enel também incluiu em sua solução a análise de imagens de satélite, a partir das quais, com uma abordagem multitarefa, é identificado onde a vegetação está presente, sua densidade e o tipo de plantas divididas em macroclasses.
Para este caso de uso, depois de experimentar diferentes resoluções, a Enel concluiu que o livre Sentinela 2 imagens fornecidos pelo programa Copernicus tiveram a melhor relação custo-benefício. Além da vegetação, a Enel também usa imagens de satélite para identificar edifícios, informações úteis para entender se há discrepâncias entre sua presença e onde a Enel fornece energia e, portanto, quaisquer conexões irregulares ou problemas nos bancos de dados. Para este último caso de uso, a resolução do Sentinel 2, onde um pixel representa uma área de 10 metros quadrados, não é suficiente, e por isso são adquiridas imagens pagas com resolução de 50 centímetros quadrados. Esta solução também não difere muito das anteriores em termos de serviços utilizados e fluxo.
A seguir, uma foto aérea com a identificação dos ativos (postes e isoladores).
Angela Italiano, Diretora de Ciência de Dados da ENEL Grid, diz:
“Na Enel, usamos modelos de visão computacional para inspecionar nossa rede de distribuição de eletricidade, reconstruindo imagens 3D de nossa rede usando dezenas de milhões de imagens de alta qualidade e nuvens de pontos LiDAR. O treinamento desses modelos de ML requer acesso a um grande número de instâncias equipadas com GPUs de alto desempenho e a capacidade de lidar com grandes volumes de dados com eficiência. Com o Amazon SageMaker, podemos treinar rapidamente todos os nossos modelos em paralelo, sem precisar gerenciar a infraestrutura, pois o treinamento do Amazon SageMaker dimensiona os recursos de computação para cima e para baixo conforme necessário. Usando o Amazon SageMaker, podemos criar imagens 3D de nossos sistemas, monitorar anomalias e atender mais de 60 milhões de clientes com eficiência.”
Conclusão
Neste post, vimos como um player de ponta no mundo da energia como a Enel utilizou modelos de visão computacional e trabalhos de treinamento e processamento do SageMaker para resolver um dos principais problemas de quem precisa gerenciar uma infraestrutura desse tamanho colossal, rastrear ativos instalados e identificar anomalias e fontes de perigo para uma linha de energia como a vegetação muito próxima a ela.
Saiba mais sobre os recursos relacionados de SageMaker.
Sobre os autores
Mário Namtao Shianti Larcher é o chefe de visão computacional da Enel. Ele tem formação em matemática, estatística e profundo conhecimento em aprendizado de máquina e visão computacional. Ele lidera uma equipe de mais de dez profissionais. A função de Mario envolve a implementação de soluções avançadas que utilizam efetivamente o poder da IA e da visão computacional para alavancar os extensos recursos de dados da Enel. Além de seus esforços profissionais, ele nutre uma paixão pessoal pela arte tradicional e gerada por IA.
Cristian Gavazzeni é Arquiteto de Soluções Sênior na Amazon Web Services. Ele tem mais de 20 anos de experiência como consultor de pré-vendas com foco em Gerenciamento de Dados, Infraestrutura e Segurança. Durante seu tempo livre, ele gosta de jogar golfe com os amigos e viajar para o exterior apenas com reservas de voos e passeios.
Giuseppe Ângelo Porcelli é um arquiteto de soluções especialista em aprendizado de máquina principal da Amazon Web Services. Com vários anos de experiência em engenharia de software e experiência em ML, ele trabalha com clientes de qualquer tamanho para entender profundamente suas necessidades comerciais e técnicas e projetar soluções de IA e Machine Learning que fazem o melhor uso da Nuvem AWS e da pilha Amazon Machine Learning. Ele trabalhou em projetos em diferentes domínios, incluindo MLOps, Computer Vision, NLP e envolvendo um amplo conjunto de serviços da AWS. Em seu tempo livre, Giuseppe gosta de jogar futebol.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Automotivo / EVs, Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- BlockOffsets. Modernizando a Propriedade de Compensação Ambiental. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- :tem
- :é
- :não
- :onde
- $UP
- 1
- 10
- 100
- 13
- 20
- 20 anos
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- habilidade
- Capaz
- Sobre
- acelerado
- Acesso
- Segundo
- precisão
- preciso
- em
- Adição
- avançado
- avanços
- Vantagem
- acessível
- Depois de
- AI
- algoritmo
- Todos os Produtos
- permite
- já
- tb
- Apesar
- Amazon
- Aprendizado de máquina da Amazon
- Amazon Sage Maker
- Amazon Web Services
- ambicioso
- quantidade
- an
- análise
- análises
- análise
- e
- detecção de anomalia
- qualquer
- aparece
- aplicações
- abordagem
- arquitetônico
- arquitetura
- SOMOS
- ÁREA
- Arte
- AS
- avaliação
- ativo
- gestão de activos
- Ativos
- associado
- At
- automatizar
- automatiza
- Automático
- disponível
- evitar
- AWS
- fundo
- baseado
- BE
- Porque
- ser
- MELHOR
- entre
- reservas
- ambos
- amplo
- construir
- construído
- negócio
- mas a
- by
- cálculo
- chamado
- Câmera
- CAN
- Capacidade
- carros
- casas
- casos
- certo
- desafiante
- características
- classe
- aulas
- classificação
- classificado
- Fechar
- Na nuvem
- agrupamento
- como
- Empresa
- completamente
- componentes
- Computar
- computador
- Visão de Computador
- computação
- poder de computação
- Concluído
- Coneções
- consultor
- ao controle
- dispendioso
- países
- Para
- crítico
- Clientes
- PERIGO
- dados,
- gestão de dados
- ciência de dados
- bases de dados
- profundo
- deep learning
- entrega
- democratização
- descrito
- Design
- Apesar de
- detalhes
- descobrir
- Detecção
- desenvolvido
- em desenvolvimento
- diferir
- diferença
- diferente
- digital
- diretamente
- Diretor
- discutir
- distribuição
- dividido
- do
- Não faz
- domínios
- feito
- não
- down
- distância
- dois
- duplicatas
- durante
- cada
- efetivamente
- eficientemente
- eletricidade
- elementos
- habilitado
- esforços
- energia
- Engenharia
- enorme
- entidade
- equipado
- erro
- estabelecido
- avaliação
- Mesmo
- exemplos
- caro
- vasta experiência
- experiência
- extenso
- extrato
- Extractos
- extremamente
- fábrica
- Funcionalidades
- taxa
- Figura
- finalizado
- Finalmente
- descoberta
- Primeiro nome
- Flexibilidade
- fluxo
- focando
- seguinte
- Futebol
- Escolha
- floresta
- Felizmente
- Quadro
- Gratuito
- freqüentemente
- amigos
- da
- funções
- mais distante
- geralmente
- gerado
- ter
- dado
- meta
- golfe
- governa
- GPU
- GPUs
- Grade
- Grupo
- Locatário
- Visitante Mensagem
- tinha
- mão
- punhado
- manipular
- Ter
- ter
- he
- cabeça
- fortemente
- SUA PARTICIPAÇÃO FAZ A DIFERENÇA
- de alto nível
- alta performance
- alta qualidade
- de alta resolução
- sua
- House
- Como funciona o dobrador de carta de canal
- HTML
- http
- HTTPS
- identificação
- identificado
- identificar
- identificar
- if
- imagem
- Classificação de imagem
- imagens
- implementação
- impossível
- in
- incluído
- Incluindo
- INFORMAÇÕES
- Infraestrutura
- instalado
- interesse
- internamente
- para dentro
- investido
- envolvendo
- IT
- Itália
- Unid
- ESTÁ
- Empregos
- jpg
- apenas por
- Guarda
- Saber
- Falta
- grande
- em grande escala
- mais recente
- Leads
- Vazamentos
- aprendizagem
- menos
- Alavancagem
- como
- gostos
- Line
- máquina
- aprendizado de máquina
- Macro
- a Principal
- fazer
- FAZ
- gerencia
- de grupos
- manual
- manualmente
- muitos
- mapa,
- mapeamento
- mario
- correspondido
- material
- matemática
- maturidade
- significa
- medições
- medição
- metadados
- métodos
- milhão
- milhões
- ML
- MLOps
- modelos
- EQUIPAMENTOS
- dinheiro
- Monitore
- monitoração
- mais
- a maioria
- muito
- multinacional
- múltiplo
- nome
- Nacional
- necessário
- necessário
- necessitando
- Cria
- rede
- PNL
- número
- objeto
- Detecção de Objetos
- obtido
- of
- frequentemente
- AZEITE E AZEITE EVO
- on
- ONE
- queridos
- só
- operação
- operador
- otimizando
- or
- orquestrada
- Outros
- Outros
- A Nossa
- Fora
- Acima de
- próprio
- Paralelo
- parâmetros
- paixão
- pessoal
- fotografias
- fotografia
- oleoduto
- pixels
- Plants
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- jogador
- jogar
- ponto
- pontos
- posição
- possível
- Publique
- POSTAGENS
- poder
- Malha energética
- preciso
- presença
- presente
- evitar
- anterior
- Diretor
- privado
- problemas
- processo
- processos
- em processamento
- profissional
- profundo
- Agenda
- projetos
- fornecido
- comprado
- pytorch
- qualidade
- rapidamente
- em vez
- relação
- Cru
- perceber
- razão
- recentemente
- reconhecido
- regiões
- relacionado
- permanece
- Renewables
- Relatórios
- representa
- exige
- resgatar
- Resolução
- Recursos
- Tipo
- sábio
- mesmo
- satélite
- serra
- diz
- Escalas
- Ciência
- segundo
- setor
- segurança
- segmentação
- senior
- servir
- serviço
- Serviços
- conjunto
- vários
- Partilhar
- Baixo
- Shows
- simples
- simplificada
- Tamanho
- pequeno
- So
- Software
- Engenharia de software
- solução
- Soluções
- RESOLVER
- alguns
- Fontes
- Espaço
- especialista
- especificidade
- quadrado
- pilha
- padrão
- começado
- Estado
- estatística
- Status
- Passo
- Passos
- armazenamento
- armazenadas
- mais forte,
- estrutura
- tal
- suficiente
- .
- sistemas
- tomado
- toma
- tomar
- Tarefa
- tarefas
- Profissionais
- Dados Técnicos:
- Tecnologias
- Tecnologia
- dez
- dezenas
- condições
- do que
- obrigado
- que
- A
- O Estado
- o mundo
- deles
- Eles
- então
- Lá.
- assim sendo
- Este
- deles
- isto
- aqueles
- três
- tempo
- para
- hoje
- também
- topo
- pista
- tradicional
- Trem
- treinado
- Training
- transformadores
- árvore
- Tendências
- dois
- tipo
- compreender
- unidades
- atualização
- utilizável
- usar
- caso de uso
- usava
- usuários
- usos
- utilização
- utilizar
- muito
- visão
- volumes
- we
- web
- serviços web
- BEM
- foram
- se
- qual
- QUEM
- porque
- Wikipedia
- de
- dentro
- sem
- trabalhou
- trabalho
- mundo
- seria
- ano
- anos
- Vocês
- zefirnet