A Nações Unidas (ONU) foi fundada em 1945 por 51 Estados Membros originais comprometidos com a manutenção da paz e segurança internacionais, desenvolvendo relações amistosas entre as nações e promovendo o progresso social, melhores padrões de vida e direitos humanos. A ONU é atualmente composta por 193 Estados-Membros e evoluiu ao longo dos anos para acompanhar um mundo em rápida mudança. O Programa das Nações Unidas para o Desenvolvimento (PNUD) é a agência de desenvolvimento da ONU e opera em mais de 170 países e territórios. Desempenha um papel crítico em ajudar os países a alcançar os Objetivos de Desenvolvimento Sustentável (ODS), que são uma chamada global à ação para acabar com a pobreza, proteger o planeta e garantir que todas as pessoas desfrutem de paz e prosperidade.
Como uma organização de aprendizado, o PNUD valoriza muito a função de avaliação. Cada unidade de programa do PNUD encomenda avaliações para avaliar o desempenho de seus projetos e programas. O Gabinete de Avaliação Independente (IEO) é um escritório funcionalmente independente dentro do PNUD que apoia as funções de supervisão e responsabilidade do Conselho Executivo e gestão do PNUD, UNCDF e UNV. As principais funções do IEO são conduzir avaliações programáticas e temáticas independentes que são de importância estratégica para a organização, como seu apoio à recuperação da pandemia de COVID-19.
Nesta postagem, discutimos como o IEO desenvolveu a plataforma de inteligência artificial e aprendizado de máquina (ML) do PNUD - chamada Inteligência Artificial para Análise de Desenvolvimento (AIDA) - em colaboração com a AWS, a Equipe de Gerenciamento de Informação e Tecnologia do PNUD (UNDP ITM) e o United Centro Internacional de Computação das Nações Unidas (UNICC). AIDA é uma plataforma baseada na web que permite que gerentes e avaliadores de programas expandam sua base de evidências pesquisando dados existentes de uma maneira mais inteligente, eficiente e inovadora para produzir insights e lições aprendidas. Ao pesquisar no nível granular dos parágrafos, o AIDA encontra evidências que não seriam encontradas usando pesquisas convencionais. A criação da AIDA se alinha com o Plano Estratégico do PNUD 2022–2025 para usar digitalização e inovação para maior impacto no desenvolvimento.
O desafio
O IEO é o guardião do Centro de Recursos de Avaliação (ERC) do PNUD. O ERC é um repositório de mais de 6,000 relatórios de avaliação que abrangem todos os aspectos do trabalho da organização, em todos os lugares em que ela trabalhou, desde 1997. As conclusões e recomendações dos relatórios de avaliação informam a administração do PNUD, doadores e funcionários do programa para melhor projetar intervenções futuras, tomar medidas de correção de curso em seus programas atuais e tomar decisões de financiamento e políticas em todos os níveis.
Antes do AIDA, o processo para extrair evidências avaliativas e gerar lições e insights era manual, consumia muitos recursos e muito tempo. Além disso, os métodos de pesquisa tradicionais não funcionaram bem com dados não estruturados, portanto, a base de evidências era limitada. Para enfrentar esse desafio, o IEO decidiu usar IA e ML para explorar melhor o banco de dados de avaliação em busca de lições e conhecimento.
A equipe AIDA estava ciente da tarefa desafiadora de extrair evidências de dados não estruturados, como relatórios de avaliação. Normalmente, os relatórios de avaliação têm de 80 a 100 páginas, estão em vários idiomas e contêm constatações, conclusões e recomendações. Embora as avaliações sejam guiadas pela Diretriz de Avaliação do PNUD, não há um formato escrito padrão para essas avaliações, e as seções mencionadas podem ocorrer em diferentes locais do documento, ou podem não existir todas. Portanto, exigir evidências avaliativas com precisão no nível do parágrafo e aplicar rótulos apropriados foi um desafio significativo de ML.
Visão geral da solução
A solução técnica AIDA foi desenvolvida por Serviços Profissionais AWS e a UNICC. A plataforma de tecnologia principal foi projetada e desenvolvida pela equipe AWS ProServe. O UNICC foi responsável pelo desenvolvimento do portal da Web AIDA e da interface humana no loop. A plataforma AIDA foi concebida para fornecer um mecanismo simples e altamente preciso para pesquisar relatórios de avaliação do PNUD em vários temas e exportá-los para análise posterior. A arquitetura do AIDA precisava atender a vários requisitos:
- Automatize a extração e rotulagem de dados de avaliação
- Processe milhares de relatórios
- Permita que o IEO adicione novos rótulos sem recorrer à experiência de cientistas de dados e especialistas em ML
Para atender aos requisitos, os componentes foram projetados com estes princípios em mente:
- Técnica e ambientalmente sustentável
- Custo consciente
- Extensível para permitir expansão futura
A solução resultante pode ser dividida em três componentes, conforme mostrado no diagrama de arquitetura a seguir:
- Ingestão e extração de dados
- Classificação de dados
- Busca inteligente
As seções a seguir descrevem esses componentes em detalhes.
Ingestão e extração de dados
Os relatórios de avaliação são preparados e enviados pelas unidades de programa do PNUD em todo o mundo – não há modelo ou formato padrão de layout de relatório. O componente de ingestão e extração de dados ingere e extrai conteúdo desses documentos não estruturados.
amazontext é usado para extrair dados de documentos PDF. Esta solução utiliza o API StartDocumentTextDetection assíncrona para criar o fluxo de trabalho de processamento de documentos que lida com invocação assíncrona do Amazon Textract, extração de resposta bruta e persistência em Serviço de armazenamento simples da Amazon (Amazônia S3). Essa solução adiciona um componente de pós-processamento do Amazon Textract para lidar com a extração de texto baseada em parágrafos. O componente de pós-processamento usa metadados de caixa delimitadora do Amazon Textract para extração inteligente de dados. O componente de pós-processamento é capaz de extrair dados de arquivos PDF complexos, multiformatos e multipáginas com vários cabeçalhos, rodapés, notas de rodapé e dados multicolunas. A biblioteca Python de código aberto Apache Tika é usada para extração de dados de documentos do Word.
O diagrama a seguir ilustra esse fluxo de trabalho, orquestrado com Funções de etapa da AWS.
Este fluxo de trabalho tem as seguintes etapas:
TextractCompleted
é a primeira etapa para garantir que os documentos não sejam processados várias vezes com o Amazon Textract. Esta etapa é para evitar custos e tempo de processamento desnecessários, impedindo o processamento duplicado.TextractAsyncCallTask
envia os documentos para serem processados pelo Amazon Textract usando a API assíncrona StartDocumentTextDetection. Essa API processa os documentos e armazena os arquivos de saída JSON no Amazon S3 para pós-processamento.TextractAsyncSNSListener
é um AWS Lambda função que lida com o evento de conclusão do trabalho do Amazon Textract e retorna os metadados de volta ao fluxo de trabalho para processamento adicional.TextractPostProcessorTask
é uma função do AWS Lambda que usa os metadados e processa os arquivos de saída JSON produzidos pelo Amazon Textract para extrair parágrafos significativos.TextractQAValidationTask
é uma função do AWS Lambda que executa algumas validações de texto simples nos parágrafos extraídos e coleta métricas como número de parágrafos completos ou incompletos. Essas métricas são usadas para medir a qualidade das extrações de texto.
Por favor, consulte TextractAsync, uma construção IDP CDK que abstrai a invocação da API Amazon Textract Async, manipulando Serviço de notificação simples da Amazon (Amazon SNS) e processamento de fluxo de trabalho para acelerar seu desenvolvimento.
Classificação de dados
O componente de classificação de dados identifica as partes críticas dos relatórios de avaliação e ainda as classifica em uma taxonomia de categorias organizadas em torno dos vários temas dos Objetivos de Desenvolvimento Sustentável. Construímos um modelo de classificação multiclasse e dois multirótulos com Amazon Comprehend.
Os parágrafos extraídos são processados usando o Step Functions, que se integra ao Amazon Comprehend para executar a classificação no modo de lote. Os parágrafos são classificados em descobertas, recomendações e conclusões (FRCs) usando um modelo personalizado de várias classes, que ajuda a identificar as seções críticas dos relatórios de avaliação. Para as seções críticas identificadas, identificamos as categorias (temáticas e não temáticas) usando um modelo de classificação personalizado de vários rótulos. A classificação temática e não temática é usada para identificar e alinhar os relatórios de avaliação com os Objetivos de Desenvolvimento Sustentável, como erradicação da pobreza (SDG-1), igualdade de gênero (SDG-5), água potável e saneamento (SDG-6) e preços acessíveis e limpos energia (ODS-7).
A figura a seguir descreve o fluxo de trabalho do Step Functions para processar a classificação de texto.
Para reduzir o custo do processo de classificação, criamos o fluxo de trabalho para enviar trabalhos do Amazon Comprehend em lote. O fluxo de trabalho aguarda a conclusão de todos os trabalhos do Amazon Comprehend e executa o refinamento de dados agregando a extração de texto e os resultados do Amazon Comprehend para filtrar os parágrafos que não são identificados como FRC e agrega as categorias de classificação temáticas e não temáticas por parágrafos.
Os parágrafos extraídos com suas categorias de classificação são armazenados em Amazon RDS para PostgreSQL. Este é um banco de dados de preparação para preservar todos os resultados de extração e classificação. Também usamos esse banco de dados para enriquecer ainda mais os resultados para agregar os temas dos parágrafos e filtrar os parágrafos que não são FRC. O conteúdo enriquecido é alimentado para Amazona Kendra.
Para o primeiro lançamento, tivemos mais de 2 milhões de parágrafos extraídos e classificados. Com a ajuda da classificação personalizada FRC, conseguimos reduzir com precisão os parágrafos de 700,000 milhões para mais de 2. O modelo de classificação personalizado do Amazon Comprehend ajudou a apresentar com precisão o conteúdo relevante e reduziu substancialmente o custo dos índices do Amazon Kendra.
Amazon DynamoDB é usado para armazenar metadados do documento e acompanhar o status de processamento do documento em todos os componentes principais. O rastreamento de metadados é particularmente útil para lidar com erros e novas tentativas.
Busca inteligente
A capacidade de pesquisa inteligente permite que os usuários da plataforma AIDA pesquisem intuitivamente evidências avaliativas sobre as intervenções do programa do PNUD contidas em todos os relatórios de avaliação. O diagrama a seguir ilustra essa arquitetura.
O Amazon Kendra é usado para pesquisas inteligentes. O conteúdo enriquecido do Amazon RDS for PostgreSQL é inserido no Amazon Kendra para indexação. A camada do portal da web usa o recurso de pesquisa inteligente do Amazon Kendra para pesquisar intuitivamente o conteúdo indexado. Rotuladores usam a interface de usuário human-in-the-loop para atualizar a classificação de texto gerada pelo Amazon Comprehend para quaisquer parágrafos extraídos. As alterações na classificação são refletidas imediatamente no portal da web, e os comentários atualizados por humanos são extraídos e usados para o treinamento do modelo do Amazon Comprehend para melhorar continuamente o modelo de classificação personalizado.
AIDA incorpora uma funcionalidade human-in-the-loop, que aumenta a capacidade do AIDA para corrigir classificações (FRC, temáticas, não temáticas) e erros de extração de dados. Os rótulos, atualizados pelos humanos que executam a função human-in-the-loop, são aumentados para o conjunto de dados de treinamento e usados para treinar novamente os modelos do Amazon Comprehend para melhorar continuamente a precisão da classificação.
Conclusão
Nesta postagem, discutimos como os avaliadores, por meio da plataforma AIDA do IEO, estão usando os serviços Amazon AI e ML, como Amazon Textract, Amazon Comprehend e Amazon Kendra, para criar um sistema de processamento de documentos personalizado que identifica, extrai e classifica dados de documentos não estruturados . O uso do Amazon Textract para extração de texto em PDF melhorou a extração de evidências em nível de parágrafo de menos de 60% para mais de 80% de precisão. Além disso, a classificação de vários rótulos melhorou de menos de 30% para 90% de precisão ao retreinar modelos no Amazon Comprehend com conjuntos de dados de treinamento aprimorados.
Essa plataforma permitiu que os avaliadores pesquisassem intuitivamente conteúdo relevante com rapidez e precisão. Transformar dados não estruturados em dados semiestruturados capacita o PNUD e outras entidades da ONU a tomar decisões informadas com base em um corpus de centenas ou milhares de pontos de dados sobre o que funciona, o que não funciona e como melhorar o impacto das operações do PNUD para as pessoas que atende.
Para obter mais informações sobre a arquitetura de referência de processamento inteligente de documentos, consulte Processamento Inteligente de Documentos. Por favor, compartilhe seus pensamentos conosco na seção de comentários.
Sobre os autores
Óscar A. Garcia é Diretor do Escritório de Avaliação Independente (IEO) do Programa das Nações Unidas para o Desenvolvimento (PNUD). Como Diretor, ele fornece direção estratégica, liderança de pensamento e avaliações confiáveis para promover o trabalho do PNUD em ajudar os países a progredir em direção à realização nacional dos ODS. Oscar também atua atualmente como presidente do Grupo de Avaliação das Nações Unidas (UNEG). Ele tem mais de 25 anos de experiência nas áreas de planejamento estratégico, avaliação e gestão baseada em resultados para o desenvolvimento sustentável. Antes de ingressar no IEO como Diretor em 2020, atuou como Diretor do Escritório Independente de Avaliação (IOE) do FIDA e Chefe de Serviços de Consultoria para Economia Verde, PNUMA. Oscar é autor de livros e artigos sobre avaliação de desenvolvimento, incluindo um sobre tecnologia da informação e comunicação para avaliação. É economista com mestrado em Gestão da Mudança Organizacional pela New School University (NY) e MBA pela Bolivian Catholic University, em associação com o Harvard Institute for International Development.
Sathya Balakrishnan é arquiteto sênior de entrega ao cliente na equipe de serviços profissionais da AWS, especializado em soluções de dados e ML. Ele trabalha com clientes financeiros federais dos EUA. Ele é apaixonado por construir soluções pragmáticas para resolver os problemas de negócios dos clientes. Nas horas vagas, gosta de assistir filmes e fazer caminhadas com a família.
Thuan Tran é Arquiteto de Soluções Sênior no Setor Público Mundial, apoiando as Nações Unidas. Ele é apaixonado por usar a tecnologia AWS para ajudar os clientes a conceituar a arte do possível. Nas horas vagas, ele gosta de surfar, andar de mountain bike, jogar machado e passar o tempo com a família e os amigos.
Príncipe Mallari é Cientista de Dados de NLP na equipe de Serviços Profissionais da AWS, especializada em aplicações de NLP para clientes do setor público. Ele é apaixonado por usar ML como uma ferramenta para permitir que os clientes sejam mais produtivos. Em seu tempo livre, ele gosta de jogar videogame e desenvolver um com seus amigos.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/how-the-undp-independent-evaluation-office-is-using-aws-ai-ml-services-to-enhance-the-use-of-evaluation-to-support-progress-toward-the-sustainable-development-goals/
- :é
- $UP
- 000
- 100
- 2020
- 7
- a
- Capaz
- Sobre
- resumos
- acelerar
- Acesso
- responsabilidade
- precisão
- preciso
- exatamente
- Alcançar
- realização
- em
- Açao Social
- Adicionalmente
- endereço
- Adiciona
- avançar
- consultivo
- serviços de consultoria
- acessível
- agência
- agregados para construção
- agregando
- AI
- AI / ML
- Alinha
- Todos os Produtos
- permite
- Amazon
- Amazon Comprehend
- Amazona Kendra
- Amazon RDS
- amazontext
- entre
- análise
- analítica
- e
- apache
- api
- aplicações
- Aplicações da PNL
- Aplicando
- apropriado
- arquitetura
- SOMOS
- áreas
- por aí
- Arte
- artigos
- artificial
- inteligência artificial
- Inteligência Artificial e Aprendizado de Máquinas
- AS
- aspecto
- Associação
- At
- aumentado
- AWS
- AWS Lambda
- em caminho duplo
- base
- baseado
- BE
- Melhor
- borda
- Livros
- Caixa
- Quebrado
- construir
- Prédio
- construído
- negócio
- by
- chamada
- chamada
- CAN
- capaz
- Capacidade
- Categorias
- Centralização de
- Centro
- desafiar
- desafiante
- alterar
- Alterações
- mudança
- classificação
- classificado
- energia limpa
- clientes
- colaboração
- comentários
- comissões
- comprometido
- Comunicação
- completar
- realização
- integrações
- componente
- componentes
- compreender
- computação
- Conduzir
- construir
- não contenho
- conteúdo
- continuamente
- convencional
- núcleo
- Custo
- países
- cobrir
- Covid-19
- Pandemia de COVID-19
- criado
- criação
- credível
- crítico
- Atual
- Atualmente
- custodiante
- personalizadas
- cliente
- Clientes
- dados,
- Os pontos de dados
- cientista de dados
- banco de dados
- conjuntos de dados
- decidido
- decisões
- Grau
- entregar
- Entrega
- descreve
- Design
- projetado
- detalhe
- desenvolvido
- em desenvolvimento
- Desenvolvimento
- diferente
- digitalização
- direção
- Diretor
- discutir
- discutido
- documento
- INSTITUCIONAIS
- Não faz
- down
- cada
- Economista
- economia
- eficiente
- empodera
- habilitado
- energia
- desfrutar
- enriquecer
- enriquecido
- garantir
- entidades
- Ambientalmente
- igualdade
- erros
- avaliação
- avaliações
- Mesmo
- Evento
- Cada
- evidência
- evoluiu
- exigente
- executivo
- existente
- Expandir
- vasta experiência
- experiência
- exportar
- extrato
- Extractos
- família
- Alimentado
- Federal
- retornos
- Figura
- Arquivos
- filtro
- financeiro
- encontra
- Primeiro nome
- seguinte
- Escolha
- formato
- encontrado
- Fundado
- amigável
- amigos
- da
- função
- funcionalidade
- funções
- financiamento
- mais distante
- futuro
- Games
- Gênero
- Igualdade de Género
- gerar
- gerado
- Global
- Objetivos
- maior
- Verde
- Grupo
- manipular
- Alças
- Manipulação
- Harvard
- Ter
- cabeça
- cabeçalhos
- ajudar
- ajudou
- ajuda
- ajuda
- altamente
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTML
- http
- HTTPS
- humano
- direitos humanos
- Humanos
- Centenas
- identificado
- identifica
- identificar
- IEO
- imediatamente
- Impacto
- importância
- melhorar
- melhorado
- in
- Incluindo
- de treinadores em Entrevista Motivacional
- índices
- informar
- INFORMAÇÕES
- informado
- Inovação
- inovadores
- insights
- Instituto
- Integra-se
- Inteligência
- Inteligente
- Processamento inteligente de documentos
- Interface
- Internacionais
- IT
- ESTÁ
- Trabalho
- Empregos
- juntando
- json
- Guarda
- manutenção
- Chave
- Conhecimento
- marcação
- Rótulos
- Idiomas
- camada
- traçado
- Liderança
- aprendido
- aprendizagem
- lições
- Lições Aprendidas
- Nível
- Biblioteca
- como
- Limitado
- vida
- locais
- máquina
- aprendizado de máquina
- moldadas
- Manter
- fazer
- de grupos
- e facilitação de projetos
- Gerentes
- manual
- mestre
- significativo
- a medida
- medidas
- mecanismo
- membro
- mensagens
- metadados
- métodos
- Métrica
- milhão
- mente
- ML
- Moda
- modelo
- modelos
- mais
- mais eficiente
- Além disso
- Montanha
- Filmes
- múltiplo
- Nacional
- Das Nações
- Novo
- PNL
- notificação
- número
- NY
- of
- Office
- on
- ONE
- open source
- opera
- Operações
- orquestrada
- organização
- organizacional
- Organizado
- original
- Outros
- saída
- Supervisão
- Paz
- pandemia
- particularmente
- peças
- apaixonado
- Pessoas
- Realizar
- atuação
- realização
- executa
- persistência
- peças
- plano
- avião
- planejamento
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- jogar
- por favor
- pontos
- Privacidade
- Portal
- possível
- Publique
- Postgresql
- Pobreza
- pragmático
- preparado
- presente
- impedindo
- Prévio
- problemas
- processo
- Processado
- processos
- em processamento
- produzir
- Produzido
- produtivo
- profissional
- Agenda
- Programático
- Programas
- Progresso
- projetos
- Promoção
- prosperidade
- proteger
- fornecer
- fornece
- público
- Python
- qualidade
- rapidamente
- rapidamente
- Cru
- recomendações
- recuperação
- reduzir
- Reduzido
- refletida
- relações
- liberar
- relevante
- Denunciar
- Relatórios
- repositório
- Requisitos
- recurso
- uso intensivo de recursos
- resposta
- responsável
- resultando
- Resultados
- Retorna
- direitos
- Tipo
- Escola
- Cientista
- cientistas
- ODS
- Pesquisar
- pesquisar
- Seção
- seções
- setor
- segurança
- senior
- serve
- Serviços
- vários
- Partilhar
- mostrando
- periodo
- simples
- desde
- mais inteligente
- Redes Sociais
- solução
- Soluções
- RESOLVER
- alguns
- especializando
- Passar
- Staff
- encenação
- padrão
- padrões
- Unidos
- Status
- Passo
- Passos
- armazenamento
- armazenadas
- lojas
- armazenar
- Estratégico
- enviar
- apresentado
- tal
- ajuda
- Apoiar
- suportes
- sustentável
- Desenvolvimento sustentável
- .
- Tire
- Tarefa
- taxonomia
- Profissionais
- Dados Técnicos:
- Tecnologia
- modelo
- princípios
- Classificação de Texto
- que
- A
- o mundo
- deles
- Eles
- temático
- assim sendo
- Este
- pensamento
- liderança de pensamento
- milhares
- três
- Através da
- Jogando
- tempo
- demorado
- vezes
- para
- ferramenta
- para
- para
- pista
- Rastreamento
- tradicional
- Training
- transformando
- UN
- para
- unidade
- Unido
- nações unidas
- unidades
- universidade
- Atualizar
- Atualizada
- us
- Federal dos EUA
- usar
- Utilizador
- Interface de Usuário
- usuários
- geralmente
- Valores
- vário
- Vídeo
- jogos de vídeo
- assistindo
- Água
- Caminho..
- web
- Web-Based
- BEM
- O Quê
- qual
- Largo
- de
- dentro
- sem
- Word
- Atividades:
- trabalhou
- trabalho
- mundo
- seria
- escrito
- anos
- investimentos
- zefirnet