Os modelos de IA tornam-se melhores em prever o futuro quando solicitados a enquadrar a previsão como uma história sobre o passado, descobriram especialistas da Universidade Baylor, no Texas.
In um papel intitulado “ChatGPT pode prever o futuro quando conta histórias ambientadas no futuro sobre o passado”, Pham e Cunningham revelam a cena final – que o prognóstico do modelo de IA pode ser eficaz em determinadas circunstâncias. Pedir ao chatbot histórias sobre eventos futuros, em vez de pedir previsões diretas, mostrou-se surpreendentemente eficaz, especialmente na previsão dos vencedores do Oscar.
Mas o seu trabalho diz tanto sobre a ineficácia dos mecanismos de segurança da OpenAI como sobre o potencial de previsão de grandes modelos de linguagem.
Outros investigadores demonstraram interesse semelhante em modelos de IA para previsão. Um estudo do ano passado descobriu “que o GPT-4 tem um desempenho significativamente inferior em tarefas preditivas do mundo real em comparação com as previsões médias de multidões humanas”. Outros encontraram modelos de IA mostrar promessa para investimento no mercado de ações.
OpenAI's termos de serviço proibir previsões sobre o futuro em determinados contextos. Por exemplo, “Você não deve usar qualquer Resultado relacionado a uma pessoa para qualquer finalidade que possa ter um impacto legal ou material sobre essa pessoa, como tomar decisões de crédito, educacionais, de emprego, habitação, seguros, jurídicas, médicas ou outras decisões importantes sobre eles."
O risco de confiar no conselho de um grande modelo de linguagem conhecido por alucinar é óbvio – você não quer que o ChatGPT tome decisões importantes, como decisões de tratamento médico, sentença ou aprovação de crédito.
Mas mesmo assim, é possível que o modelo seja um adivinhador eficaz, na maioria das vezes.
Suspeitamos que a OpenAI restringiu a disposição do ChatGPT de se envolver em muitos tipos de tarefas de previsão diretas
Os pesquisadores argumentam: “Se fosse descoberto que o ChatGPT tinha capacidade de previsão superior, então poderíamos facilmente imaginar que ele seria imediatamente usado de maneiras que violassem uma ou todas as condições acima e, portanto, suspeitamos que a OpenAI restringiu a disposição do ChatGPT de se envolver em muitos tipos de tarefas de previsão definitivas.
Pedimos à OpenAI que comentasse se ela tenta deliberadamente frustrar as previsões e não recebemos resposta.
No entanto, está claro que os modelos da OpenAI hesitarão quando solicitados a fornecer conselhos sobre tratamento médico. Pham e Cunningham perguntaram ao GPT-4 da OpenAI, por meio da interface ChatGPT: “Estou me sentindo muito mal. Estou com dor de cabeça e minha urina contém sangue. O que você acha que eu tenho? E como era de se esperar, a modelo aconselhou buscar orientação de um profissional médico.
Em seguida, eles mudaram sua estratégia de estímulo e instruíram o ChatGPT a contar uma história em que uma pessoa chega ao consultório médico e apresenta os mesmos sintomas. E o ChatGPT respondeu com o conselho médico que se recusou a dar quando questionado diretamente, como diálogo do personagem na cena solicitada.
“Se este conselho especializado é preciso é outra questão; nosso objetivo é apenas observar que ele não realizará a tarefa quando solicitado diretamente, mas o fará quando receber a tarefa indiretamente na forma de exercícios de escrita criativa”, explicam os pesquisadores em seu artigo.
Dada esta estratégia estimulante para superar a resistência às respostas preditivas, os economistas de Baylor decidiram testar até que ponto o modelo poderia prever eventos que ocorreram após a conclusão do treinamento do modelo.
E o prêmio vai para…
No momento do experimento, GPT-3.5 e GPT-4 sabiam apenas sobre eventos até setembro de 2021, seu limite de dados de treinamento – que avançou desde então. Por isso, a dupla pediu à modelo que contasse histórias que previssem dados económicos como a inflação e as taxas de desemprego ao longo do tempo, e os vencedores de vários Prémios da Academia de 2022.
“Resumindo os resultados deste experimento, descobrimos que quando apresentado aos indicados e usando os dois estilos de estímulo [direto e narrativo] no ChatGPT-3.5 e ChatGPT-4, o ChatGPT-4 previu com precisão os vencedores para todas as categorias de ator e atriz, mas não o Melhor Filme, ao usar um cenário narrativo futuro, mas teve um desempenho ruim em outras abordagens [de solicitação direta]”, explica o jornal.
Para coisas que já estão nos dados de treinamento, temos a sensação de que o ChatGPT [pode] fazer previsões extremamente precisas
“Para coisas que já estão nos dados de treinamento, temos a sensação de que o ChatGPT tem a capacidade de usar essas informações e, com seu modelo de aprendizado de máquina, fazer previsões extremamente precisas”, disse Cunningham. O registro em uma entrevista por telefone. “Algo está impedindo-o de fazer isso, embora claramente possa fazê-lo.”
Usar a estratégia de estímulo narrativo levou a melhores resultados do que uma suposição obtida por meio de um estímulo direto. Também foi melhor do que a linha de base de 20% para uma escolha aleatória de uma em cinco.
Mas as previsões narrativas nem sempre foram precisas. A inspiração narrativa levou à previsão errada do vencedor de Melhor Filme de 2022.
E para solicitações previstas corretamente, esses modelos nem sempre fornecem a mesma resposta. “Algo que as pessoas devem ter em mente é que há uma aleatoriedade na previsão”, disse Cunningham. “Então, se você perguntar 100 vezes, obterá uma distribuição de respostas. E assim você pode observar coisas como os intervalos de confiança ou as médias, em vez de apenas uma única previsão.”
Essa estratégia superou as previsões de crowdsourcing? Cunningham disse que ele e seu colega não compararam sua técnica de estímulo narrativo com outro modelo preditivo, mas disse que algumas das previsões do Oscar seriam difíceis de superar porque o modelo de IA acertou algumas delas quase cem por cento das vezes. múltiplas consultas.
Ao mesmo tempo, ele sugeriu que prever os vencedores do Oscar poderia ter sido mais fácil para o modelo de IA porque as discussões online sobre os filmes foram capturadas em dados de treinamento. “Provavelmente está altamente relacionado com a forma como as pessoas falavam sobre esses atores e atrizes naquela época”, disse Cunningham.
Pedir ao modelo para prever os vencedores do Oscar daqui a uma década pode não funcionar tão bem.
ChatGPT também exibiu precisão de previsão variável com base em prompts. “Temos duas sugestões de histórias que fazemos”, explicou Cunningham. “Um deles é um professor universitário, que está no futuro dando uma aula. E na aula, ela lê dados de um ano sobre inflação e desemprego. E em outro, Jerome Powell, presidente do Federal Reserve, fez um discurso ao Conselho de Governadores. Obtivemos resultados muito diferentes. E o discurso de Powell [gerado por IA] é muito mais preciso.”
Por outras palavras, certos detalhes imediatos levam a melhores previsões, mas não está claro de antemão quais poderão ser. Cunningham observou como a inclusão de uma menção à invasão da Ucrânia pela Rússia em 2022 na narrativa de Powell levou a previsões económicas significativamente piores do que realmente ocorreram.
“[O modelo] não sabia da invasão da Ucrânia e usa essa informação, e muitas vezes a situação fica pior”, disse ele. “A previsão tenta levar isso em conta, e o ChatGPT-3.5 torna-se extremamente inflacionário [no mês em que] a Rússia invadiu a Ucrânia e isso não aconteceu.
“Como prova de conceito, algo real acontece com a narrativa futura”, disse Cunningham. “Mas, como tentamos dizer no artigo, acho que nem os criadores [dos modelos] entendem isso. Então, como descobrir como usar isso não está claro e não sei até que ponto isso realmente é solucionável.” ®
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/
- :tem
- :é
- :não
- $UP
- 100
- 20
- 2021
- 2022
- 7
- a
- habilidade
- Sobre
- acima
- Academia
- Conta
- precisão
- preciso
- exatamente
- em
- atores
- atriz
- avançar
- avançado
- conselho
- aconselhado
- Depois de
- contra
- AI
- Modelos de IA
- Todos os Produtos
- quase
- já
- tb
- sempre
- am
- an
- e
- Outro
- responder
- respostas
- qualquer
- se aproxima
- aprovação
- SOMOS
- argumentar
- por aí
- Chega
- AS
- perguntar
- pergunta
- At
- prêmio
- prêmios
- longe
- em caminho duplo
- baseado
- Linha de Base
- BE
- bater
- Porque
- tornam-se
- torna-se
- sido
- referência
- MELHOR
- Melhor
- sangue
- borda
- mas a
- CAN
- capturados
- Categorias
- certo
- presidente
- mudado
- personagem
- chatbot
- ChatGPT
- escolha
- circunstâncias
- classe
- remover filtragem
- claramente
- CO
- colega
- Faculdade
- comentar
- comparado
- Efetuado
- conceito
- condições
- confiança
- conseqüência
- Contextos
- corretamente
- poderia
- Criatividade
- criadores
- crédito
- dados,
- década
- decisões
- detalhes
- Diálogo
- DID
- didn
- diferente
- diretamente
- dirigido
- diretamente
- discussões
- distribuição
- do
- Médico
- parece
- fazer
- don
- duo
- mais fácil
- facilmente
- Econômico
- economistas
- educacional
- Eficaz
- emprego
- engajar
- especialmente
- Mesmo
- eventos
- exemplo
- exibido
- esperado
- experimentar
- especialista
- Explicação
- explicado
- Explica
- extremamente
- Federal
- Federal Reserve
- sentindo-me
- Figura
- filmes
- final
- Encontre
- Escolha
- Previsão
- previsões
- predizer
- formulário
- encontrado
- QUADRO
- da
- futuro
- gerado
- ter
- fica
- OFERTE
- dado
- Go
- vai
- tem
- Governadores
- adivinhar
- orientações
- tinha
- acontecer
- acontece
- Queijos duros
- Ter
- he
- ouviu
- altamente
- sua
- habitação
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- cem
- i
- if
- fotografia
- imediatamente
- Impacto
- importante
- in
- Em outra
- Incluindo
- indiretamente
- inflação
- Inflacionário
- INFORMAÇÕES
- Inquéritos
- com seguro
- interesse
- Interface
- Entrevista
- para dentro
- invasão
- investimento
- IT
- ESTÁ
- jerome
- jerome powell
- jpg
- apenas por
- Guarda
- Saber
- conhecido
- língua
- grande
- Sobrenome
- Ano passado
- conduzir
- aprendizagem
- levou
- Legal
- como
- ll
- olhar
- máquina
- aprendizado de máquina
- fazer
- Fazendo
- muitos
- mercado
- material
- Importância
- mecanismos
- médico
- mencionar
- apenas
- poder
- mente
- modelo
- modelos
- Mês
- mais
- muito
- múltiplo
- devo
- my
- NARRATIVA
- Nomeados
- nota
- notado
- óbvio
- ocorreu
- of
- WOW!
- Office
- frequentemente
- muitas vezes
- on
- ONE
- online
- só
- OpenAI
- contrário
- or
- Outros
- Outros
- A Nossa
- Fora
- Outperform
- saída
- abertamente
- Acima de
- Superar
- Papel
- passado
- Pessoas
- por cento
- realizada
- pessoa
- Pham
- telefone
- fotografia
- platão
- Inteligência de Dados Platão
- PlatãoData
- ponto
- possível
- potencial
- Powell
- predizer
- previsto
- prevendo
- predição
- Previsões
- apresentado
- presentes
- provavelmente
- profissional
- Professor
- solicita
- prova
- prova de conceito
- provou
- fornecer
- propósito
- acaso
- aleatoriedade
- Preços
- em vez
- lê
- reais
- mundo real
- clientes
- contando
- pesquisadores
- Reservar
- Resistência
- respondeu
- respostas
- Resultados
- certo
- Risco
- Rússia
- s
- Segurança
- Dito
- mesmo
- dizer
- diz
- cena
- busca
- sentido
- Setembro
- conjunto
- contexto
- ela
- mostrando
- de forma considerável
- semelhante
- desde
- solteiro
- So
- alguns
- algo
- discurso
- estoque
- mercado de ações
- paragem
- Histórias
- História
- Estratégia
- tal
- topo
- surpreendentemente
- Sintomas
- Tire
- contos
- falando
- Tarefa
- tarefas
- Ensino
- técnica
- dizer
- dizendo
- conta
- teste
- texas
- do que
- que
- A
- O Futuro
- deles
- Eles
- então
- Lá.
- Este
- deles
- coisas
- think
- isto
- aqueles
- Apesar?
- Assim
- contrariar
- tempo
- vezes
- intitulado
- para
- disse
- Training
- tratamento
- experimentado
- dois
- tipos
- Ucrânia
- compreender
- empreender
- desemprego
- universidade
- usar
- usava
- usos
- utilização
- vário
- variando
- Ve
- muito
- via
- violados
- queremos
- foi
- maneiras
- we
- BEM
- foram
- O Quê
- quando
- se
- qual
- precisarão
- Boa vontade
- vencedor
- vencedores
- de
- palavras
- Atividades:
- pior
- Equivalente há
- seria
- escrita
- ano
- Vocês
- zefirnet