TÓQUIO, 26 de Setembro de 2023 – (JCN Newswire) – A Fujitsu anunciou hoje o lançamento de duas novas tecnologias de confiança de IA para melhorar a fiabilidade das respostas dos modelos de IA conversacional. As tecnologias recentemente desenvolvidas incluem uma técnica para detectar alucinações em modelos de IA conversacional – um fenómeno em que a IA generativa cria resultados incorrectos ou não relacionados – e uma técnica desenvolvida em conjunto no seu pequeno laboratório de investigação (1) na Universidade Ben Gurion para detectar URLs de sites de phishing implantados nas respostas da IA por meio de ataques de envenenamento que injetam informações falsas.
Com as novas tecnologias, a Fujitsu pretende fornecer aos utilizadores empresariais e individuais uma ferramenta para avaliar a fiabilidade das respostas da IA conversacional, contribuindo em última análise para uma utilização mais segura da IA numa série de casos de utilização, incluindo para empresas que pretendem implementar a tecnologia em operações reais.
O Professor Yuval Elovici, da Universidade Ben Gurion, comenta: “A IA generativa é um domínio crítico e, dentro dele, a tecnologia de detecção de alucinações que a Fujitsu desenvolveu surge como fundamental para o estabelecimento de sistemas de IA conversacionais fiáveis. Investigadores da Universidade Ben-Gurion (BGU) e da Fujitsu foram pioneiros numa técnica inovadora para melhorar a segurança da filtragem de URL baseada em IA contra ameaças adversárias. Nossa inovação se concentra em dados tabulares, resultando em um mecanismo de defesa mais resiliente contra ataques adversários no domínio da filtragem de URL orientada por IA. Seguindo em frente, a Fujitsu e a Universidade Ben-Gurion estão preparadas para colaborar na criação de novos avanços centrados na segurança no domínio da IA Generativa.”
A Fujitsu incluirá estas novas tecnologias no seu motor central de IA conversacional fornecido através da “Fujitsu Kozuchi (nome de código) – Fujitsu AI Platform”, que oferece aos utilizadores acesso a uma vasta gama de poderosas tecnologias de IA e ML. A tecnologia para detectar alucinações em IA conversacional estará disponível para usuários no Japão a partir de 28 de setembro de 2023, e a tecnologia para detectar URLs de sites de phishing em respostas de IA conversacional a partir de outubro de 2023. As novas tecnologias estarão disponíveis para usuários corporativos como um ambiente de demonstração via Kozuchi e para usuários individuais através de um portal dedicado (2). A Fujitsu planeia a implementação de ambas as tecnologias no mercado global no futuro.
Ao aplicar IA conversacional em operações comerciais, as empresas geralmente usam a tecnologia para extrair informações relacionadas a perguntas de dados comerciais pré-registrados e adicionar os dados como informações de referência ao fazer perguntas a uma IA conversacional externa. Embora este método forneça respostas precisas e reduza as alucinações, a prevenção completa das alucinações representa um problema contínuo, uma vez que a IA conversacional, em alguns casos, é incapaz de extrair corretamente informações relacionadas às perguntas e, consequentemente, cria respostas incorretas e não relacionadas. Embora os métodos para estimar o grau em que a resposta de uma IA possa ser uma alucinação (pontuação de alucinação), a estimativa precisa desta pontuação continua a ser uma tarefa difícil, uma vez que a IA conversacional utiliza várias frases diferentes para expressar o mesmo facto.
Com base na observação de que a IA de conversação gera frequentemente informações incorretas para nomes e números próprios, e que o conteúdo das respostas tende a diferir com perguntas repetidas, a Fujitsu desenvolveu uma tecnologia para identificar e concentrar-se em partes de frases onde é provável que ocorram alucinações.
Para calcular uma pontuação de alucinação altamente precisa, a nova tecnologia primeiro divide a resposta da IA em três partes (sujeito, predicado, objeto, etc.) e depois identifica automaticamente as entidades nomeadas na resposta. Na próxima etapa, a tecnologia deixa essas entidades nomeadas em branco e solicita repetidamente à IA externa que defina com mais precisão essas expressões específicas. (Figura 2)
A Fujitsu comparou esta tecnologia usando dados abertos, incluindo o WikiBio GPT-3 Hallucination Dataset (3) e descobriu que poderia melhorar a precisão da detecção (AUC-ROC) (4) em aproximadamente 22% em comparação com outros métodos de última geração para detectar alucinações de IA, como SelfCheckGPT (5).
À medida que a IA conversacional cria respostas com base nos seus dados de treinamento, entidades hostis podem induzir a IA a criar respostas que incluem informações manipuladas, como URLs de phishing que levam a sites falsos, implantando informações maliciosas nos dados de treinamento da IA.
Para resolver este problema, a Fujitsu desenvolveu uma tecnologia para detectar URLs manipulados nas respostas da IA conversacional. Assim que a tecnologia identifica um URL de phishing, ela emite uma mensagem de aviso aos usuários.
A nova tecnologia da Fujitsu não só detecta URLs de phishing, mas também aumenta a resistência da IA contra ataques existentes que enganam os modelos de IA para que façam um julgamento errado deliberado para garantir respostas altamente fiáveis por parte da IA. A tecnologia recentemente desenvolvida aproveita uma técnica desenvolvida em conjunto pela Fujitsu e pela Universidade Ben-Gurion do Negev no Fujitsu Small Research Lab estabelecido na Universidade Ben-Gurion. A tecnologia aproveita a tendência de que entidades hostis atacam frequentemente um único tipo de modelo de IA e detecta dados maliciosos processando informações com vários modelos de IA diferentes e avaliando a diferença na justificativa para o resultado do julgamento.
A tecnologia pode ser usada não apenas para a detecção de URLs de phishing, mas também para prevenir ataques gerais para enganar modelos de IA que usam dados tabulares, podendo assim também ser usada para evitar ataques a outros serviços.
[1] Pequeno Laboratório de Pesquisa Fujitsu:Iniciativa em que os investigadores da Fujitsu estão integrados em incubadoras tecnológicas em universidades no Japão e internacionalmente para realizar investigação conjunta com algumas das mentes líderes nas suas áreas, incluindo professores, bem como a próxima geração de investigadores.
[2] Os utilizadores individuais também podem experimentar as APIs avançadas e aplicações web da Fujitsu criando uma conta no Fujitsu Research Portal. (Fujitsu Research Portal: portal que está aberto ao público desde junho de 2023 para fornecer aos utilizadores registados acesso a versões de teste das tecnologias avançadas da Fujitsu. A Fujitsu oferece tecnologias avançadas a utilizadores empresariais através da “Fujitsu Kozuchi (nome de código) – Fujitsu AI Platform” e para usuários individuais através deste site de portal.)
[3] Conjunto de dados de alucinação WikiBio GPT-3:Dados de referência baseados na Wikipedia para detecção de alucinações
[4] AUC-ROC (Área sob a curva da curva característica de operação do receptor):A área sob a curva da curva obtida quando o valor limite do julgamento é alterado em relação à pontuação de anormalidade, colocando a taxa de verdadeiros positivos no eixo vertical e a taxa de falsos positivos no eixo horizontal. Uma pontuação de anomalia aleatória é 0.5 e uma resposta perfeita é 1.0. Geralmente considera-se que um certo nível de desempenho pode ser alcançado quando é superior a 0.7.
[5] AutoVerificaçãoGPT:Uma tecnologia de detecção de alucinações desenvolvida na Universidade de Cambridge, Reino Unido
Compromisso da Fujitsu com os Objetivos de Desenvolvimento Sustentável (ODS)
Os Objetivos de Desenvolvimento Sustentável (ODS) adotados pelas Nações Unidas em 2015 representam um conjunto de objetivos comuns a serem alcançados em todo o mundo até 2030. O objetivo da Fujitsu - “tornar o mundo mais sustentável, construindo confiança na sociedade através da inovação” - é uma promessa para contribuir para a visão de um futuro melhor empoderada pelos ODS.
Sobre a Fujitsu
O propósito da Fujitsu é tornar o mundo mais sustentável construindo confiança na sociedade através da inovação. Como o parceiro de transformação digital escolhido por clientes em mais de 100 países, nossos 124,000 funcionários trabalham para resolver alguns dos maiores desafios que a humanidade enfrenta. Nossa gama de serviços e soluções baseia-se em cinco tecnologias principais: Computação, Redes, IA, Dados e Segurança e Tecnologias Convergentes, que reunimos para oferecer transformação sustentável. A Fujitsu Limited (TSE:6702) reportou receitas consolidadas de 3.7 trilhões de ienes (US$ 28 bilhões) no ano fiscal encerrado em 31 de março de 2023 e continua sendo a principal empresa de serviços digitais do Japão em participação de mercado. Descubra mais: www.fujitsu.com.
Contatos com a imprensa:
Fujitsu Limited
Divisão de Relações Públicas e Investidores
Inquéritos (https://bit.ly/3rrQ4mB)
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://www.jcnnewswire.com/pressrelease/86719/3/
- :tem
- :é
- :não
- :onde
- 000
- 1
- 100
- 2015
- 2023
- 2030
- 26%
- 28
- 31
- 7
- a
- Acesso
- conformemente
- Conta
- precisão
- preciso
- exatamente
- alcançado
- em
- real
- adicionar
- endereço
- adotado
- avançado
- avanços
- adversarial
- contra
- à frente
- AI
- Modelos de IA
- Plataforma de IA
- Sistemas de IA
- Treinamento de IA
- Visando
- visa
- tb
- Apesar
- an
- e
- anunciou
- responder
- APIs
- aplicações
- Aplicando
- aproximadamente
- SOMOS
- ÁREA
- AS
- pergunta
- At
- ataque
- Ataques
- automaticamente
- disponível
- evitar
- eixo
- baseado
- BE
- sido
- ben
- Ben Guron
- Universidade Ben-Gurion
- aferido
- Melhor
- bilhão
- ambos
- quebra
- avanço
- trazer
- Prédio
- negócio
- negócios
- mas a
- by
- calcular
- cambridge
- CAN
- casos
- certo
- desafios
- mudado
- característica
- escolha
- código
- colaborar
- comentários
- compromisso
- comum
- Empresa
- comparado
- completar
- computação
- Conduzir
- considerado
- contatos
- conteúdo
- contribuir
- contribuindo
- convergindo
- Tecnologias convergentes
- conversação
- IA conversacional
- núcleo
- Responsabilidade
- poderia
- países
- cria
- Criar
- crítico
- curva
- Clientes
- dados,
- dedicado
- Defesa
- definir
- Grau
- entregar
- demonstração
- descobrir
- Detecção
- desenvolvido
- Desenvolvimento
- diferir
- diferença
- diferente
- difícil
- digital
- serviços digitais
- empresa de serviços digitais
- Transformação Digital
- Divisão
- domínio
- down
- desenhar
- incorporado
- emerge
- colaboradores
- habilitada
- terminou
- Motor
- aumentar
- garantir
- entidades
- Meio Ambiente
- estabelecido
- estabelecendo
- estimativa
- etc.
- avaliar
- avaliação
- existente
- expresso
- expressões
- externo
- extrato
- enfrentando
- fato
- falsificação
- falso
- Campos
- Figura
- filtragem
- Encontre
- Primeiro nome
- Fiscal
- cinco
- Foco
- concentra-se
- Escolha
- Forjar
- encontrado
- freqüentemente
- da
- Fujitsu
- futuro
- Geral
- geralmente
- gera
- geração
- generativo
- IA generativa
- Global
- mercado global
- Objetivos
- maior
- Ter
- superior
- altamente
- Horizontal
- HTTPS
- Humanidade
- identifica
- identificar
- imagem
- executar
- melhorar
- in
- incluir
- Incluindo
- Aumenta
- Incubadoras de laboratório
- Individual
- INFORMAÇÕES
- injetável
- Inovação
- inovadores
- Internacionalmente
- para dentro
- investidor
- Divisão de Relações com Investidores
- emitem
- questões
- IT
- ESTÁ
- Japão
- articulação
- jpg
- Junho
- Chave
- laboratório
- lançamento
- lança
- conduzir
- principal
- Nível
- aproveita as
- Provável
- Limitado
- fazer
- Fazendo
- manipulado
- Março
- mercado
- fatia de mercado
- mecanismo
- mensagem
- método
- métodos
- poder
- mentes
- ML
- modelo
- modelos
- mais
- em movimento
- nome
- Nomeado
- Das Nações
- redes
- Novo
- Novas tecnologias
- recentemente
- Newswire
- Próximo
- substantivos
- romance
- números
- objeto
- obtido
- Outubro
- of
- Oferece
- frequentemente
- on
- uma vez
- contínuo
- só
- aberto
- dados abertos
- operando
- Operações
- or
- Outros
- A Nossa
- Fora
- saída
- Acima de
- Visão geral
- parceiro
- peças
- perfeita
- atuação
- fenómeno
- Phishing
- Frases
- pioneira
- essencial
- colocação
- planos
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- Portal
- positivo
- poderoso
- evitar
- Prevenção
- em processamento
- promessa
- adequado
- proteger
- fornecer
- fornecido
- fornece
- público
- propósito
- Frequentes
- acaso
- alcance
- Taxa
- raciocínio
- reino
- reduz
- registrado
- relacionado
- relações
- confiabilidade
- confiável
- permanece
- repetido
- REPETIDAMENTE
- resposta
- Informou
- representar
- representa
- pesquisa
- pesquisadores
- resiliente
- Resistência
- respeito
- respostas
- resultar
- resultando
- receitas
- mesmo
- Ponto
- ODS
- seguro
- segurança
- Sete
- Setembro
- Serviços
- empresa de serviços
- conjunto
- Partilhar
- desde
- solteiro
- local
- pequeno
- Sociedade
- Soluções
- alguns
- específico
- fica
- Comece
- estado-da-arte
- Passo
- sujeito
- tal
- Sustentabilidade
- sustentável
- Desenvolvimento sustentável
- sistemas
- Tarefa
- Tecnologias
- Tecnologia
- do que
- que
- A
- O Futuro
- o mundo
- deles
- então
- Este
- isto
- ameaças
- três
- limiar
- Através da
- Assim
- para
- hoje
- juntos
- ferramenta
- topo
- Training
- Transformação
- parceiro de transformação
- julgamento
- Trilhão
- verdadeiro
- Confiança
- confiável
- digno de confiança
- tentar
- TSE:6702
- dois
- tipo
- Em última análise
- incapaz
- para
- Unido
- nações unidas
- Universidades
- universidade
- Universidade de Cambridge
- URL
- usar
- usava
- usuários
- usos
- utilização
- valor
- vário
- versões
- vertical
- via
- visão
- aviso
- we
- web
- Aplicativos da web
- sites
- BEM
- quando
- qual
- enquanto
- Largo
- Ampla variedade
- Wikipedia
- precisarão
- de
- dentro
- Atividades:
- mundo
- no mundo todo
- ano
- Yen
- zefirnet