Trabalhadores contratados por meio de serviços de crowdsourcing, como o Amazon Mechanical Turk, estão usando grandes modelos de linguagem para concluir suas tarefas – o que pode ter efeitos negativos nos modelos de IA no futuro.
Os dados são críticos para a IA. Os desenvolvedores precisam de conjuntos de dados limpos e de alta qualidade para criar sistemas de aprendizado de máquina precisos e confiáveis. Compilar dados valiosos e de alto nível, no entanto, pode ser tedioso. As empresas geralmente recorrem a plataformas de terceiros, como o Amazon Mechanical Turk, para instruir grupos de trabalhadores baratos a realizar tarefas repetitivas – como rotular objetos, descrever situações, transcrever passagens e anotar textos.
Sua produção pode ser limpa e inserida em um modelo para treiná-lo para reproduzir esse trabalho em uma escala automatizada muito maior.
Os modelos de IA são, portanto, construídos com base no trabalho humano: pessoas trabalhando duro, fornecendo montanhas de exemplos de treinamento para sistemas de IA que as corporações podem usar para ganhar bilhões de dólares.
Mas um experimento conduzido por pesquisadores da École polytechnique fédérale de Lausanne (EPFL), na Suíça, concluiu que esses trabalhadores de crowdsourcing estão usando sistemas de IA – como o chatbot ChatGPT da OpenAI – para realizar biscates online.
Não é recomendado treinar um modelo em sua própria saída. Pudemos ver modelos de IA sendo treinados em dados gerados não por pessoas, mas por outros modelos de IA – talvez até os mesmos modelos. Isso pode levar a uma qualidade de saída desastrosa, mais viés e outros efeitos indesejados.
O experimento
Os acadêmicos recrutaram 44 servos turcos mecânicos para resumir os resumos de 16 trabalhos de pesquisa médica e estimaram que 33 a 46 por cento das passagens de texto enviadas pelos trabalhadores foram geradas usando grandes modelos de linguagem. Os trabalhadores da multidão geralmente recebem salários baixos – o uso da IA para gerar respostas automaticamente permite que eles trabalhem mais rápido e assumam mais empregos para aumentar os salários.
A equipe suíça treinou um classificador para prever se os envios dos turcos eram gerados por humanos ou por IA. Os acadêmicos também registraram as teclas digitadas por seus trabalhadores para detectar se os servos copiaram e colaram o texto na plataforma ou se eles mesmos digitaram suas entradas. Há sempre a chance de alguém usar um chatbot e digitar manualmente a saída – mas isso é improvável, supomos.
“Desenvolvemos uma metodologia muito específica que funcionou muito bem para detectar texto sintético em nosso cenário”, Manoel Ribeiro, coautor de o estudo e um estudante de doutorado na EPFL, disse O registro esta semana.
“Enquanto os métodos tradicionais tentam detectar texto sintético 'em qualquer contexto', nossa abordagem é focada na detecção de texto sintético em nosso cenário específico.”
O classificador não é perfeito para identificar se alguém usou um sistema de IA ou produziu seu próprio trabalho. Os acadêmicos combinaram a saída de seu classificador com os dados de pressionamento de tecla para ter mais certeza quando alguém copiou e colou de um bot ou produziu seu próprio material.
Os dados humanos são o padrão-ouro, porque são os humanos que nos preocupam
“Conseguimos validar nossos resultados usando dados de pressionamento de tecla que também coletamos do MTurk”, disse Ribeiro. “Por exemplo, descobrimos que todos os textos que não foram copiados e colados foram classificados por nós como ‘reais’, o que sugere que há poucos falsos positivos.”
O código e os dados usados para executar o teste pode ser encontrada aqui, no GitHub.
Há outra razão pela qual é improvável que o experimento seja uma representação completamente justa de quantos trabalhadores realmente estão usando IA para automatizar tarefas de crowdsourcing. Os autores observam que a tarefa de resumo de texto é adequada para grandes modelos de linguagem em comparação com outros tipos de trabalho – o que significa que seus resultados podem ser mais distorcidos para um número maior de trabalhadores que usam ferramentas como o ChatGPT.
Seu conjunto de dados de 46 respostas de 44 trabalhadores também é pequeno. Os trabalhadores receberam US$ 1 por cada resumo de texto, o que, novamente, pode apenas encorajar o uso de IA.
Grandes modelos de linguagem piorarão se forem cada vez mais treinados em conteúdo falso gerado por IA coletado de plataformas de crowdsourcing, argumentaram os pesquisadores. Roupas como a OpenAI mantêm exatamente como treinam seus modelos mais recentes em segredo e podem não depender muito de coisas como o Mechanical Turk, se é que o fazem. Dito isso, muitos outros modelos podem depender de trabalhadores humanos, que por sua vez podem usar bots para gerar dados de treinamento, o que é um problema.
A Mechanical Turk, por exemplo, é comercializada como fornecedora de “soluções de rotulagem de dados para alimentar modelos de aprendizado de máquina”.
“Os dados humanos são o padrão-ouro, porque são os humanos que nos preocupam, não grandes modelos de linguagem”, disse Riberio. “Eu não tomaria um remédio que só foi testado em modelo biológico de Drosophila”, exemplifica.
As respostas geradas pelos modelos atuais de IA geralmente são bastante brandas ou triviais e não capturam a complexidade e a diversidade da criatividade humana, argumentaram os pesquisadores.
“Às vezes, o que queremos estudar com dados de crowdsourcing são precisamente as maneiras pelas quais os humanos são imperfeitos”, disse-nos Robert West, coautor do artigo e professor assistente na escola de ciência da computação e comunicação da EPFL.
À medida que a IA continua a melhorar, é provável que o trabalho colaborativo mude. Riberio especulou que grandes modelos de linguagem poderiam substituir alguns trabalhadores em tarefas específicas. “No entanto, paradoxalmente, os dados humanos podem ser mais preciosos do que nunca e, portanto, pode ser que essas plataformas sejam capazes de implementar maneiras de impedir o uso de grandes modelos de linguagem e garantir que continuem sendo uma fonte de dados humanos”.
Quem sabe – talvez os humanos possam até acabar colaborando com grandes modelos de linguagem para gerar respostas também, acrescentou. ®
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- EVM Finanças. Interface unificada para finanças descentralizadas. Acesse aqui.
- Grupo de Mídia Quântica. IR/PR Amplificado. Acesse aqui.
- PlatoAiStream. Inteligência de Dados Web3. Conhecimento Amplificado. Acesse aqui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :tem
- :é
- :não
- $UP
- 16
- 7
- a
- Capaz
- Sobre
- resumos
- acadêmicos
- preciso
- adicionado
- novamente
- AI
- Todos os Produtos
- permite
- tb
- sempre
- Amazon
- an
- e
- Outro
- qualquer
- abordagem
- SOMOS
- argumentou
- artificial
- inteligência artificial
- AS
- Assistente
- At
- autores
- automatizar
- Automatizado
- automaticamente
- longe
- BE
- Porque
- ser
- viés
- bilhões
- brando
- Bot
- bots
- construir
- construído
- mas a
- by
- CAN
- capturar
- Cuidado
- certo
- chance
- alterar
- chatbot
- ChatGPT
- barato
- classificado
- Fechar
- CO
- Coautor
- código
- colaborando
- combinado
- Comunicação
- Empresas
- comparado
- completar
- completamente
- complexidade
- computador
- Concluído
- conduzido
- conteúdo
- contexto
- continua
- Corporações
- poderia
- criatividade
- crítico
- multidão
- dados,
- conjuntos de dados
- desenvolvido
- desenvolvedores
- desastroso
- Diversidade
- do
- dólares
- cada
- efeitos
- encorajar
- final
- garantir
- estimado
- Mesmo
- SEMPRE
- exatamente
- exemplo
- exemplos
- experimentar
- feira
- falsificação
- falso
- mais rápido
- Alimentado
- poucos
- focado
- Escolha
- encontrado
- da
- futuro
- gerar
- gerado
- ter
- GitHub
- Dourado
- gold standard
- Ter
- he
- fortemente
- alta qualidade
- superior
- Como funciona o dobrador de carta de canal
- Contudo
- HTTPS
- humano
- Humanos
- i
- identificar
- if
- executar
- melhorar
- in
- Crescimento
- cada vez mais
- Inteligência
- para dentro
- isn
- IT
- ESTÁ
- Empregos
- jpg
- Guarda
- marcação
- trabalho
- língua
- grande
- Maior
- mais recente
- conduzir
- aprendizagem
- como
- Provável
- registrado
- Baixo
- máquina
- aprendizado de máquina
- fazer
- gerenciados
- manualmente
- muitos
- material
- Posso..
- significado
- mecânico
- médico
- pesquisa médica
- medicina
- Metodologia
- métodos
- poder
- modelo
- modelos
- mais
- muito
- você merece...
- negativo
- número
- objetos
- of
- frequentemente
- on
- ONE
- online
- só
- OpenAI
- or
- Outros
- A Nossa
- saída
- próprio
- pago
- Papel
- papéis
- festa
- Pagar
- Pessoas
- por cento
- perfeita
- Realizar
- possivelmente
- plataforma
- Plataformas
- platão
- Inteligência de Dados Platão
- PlatãoData
- Abundância
- Piscinas
- poder
- Precioso
- justamente
- predizer
- evitar
- Problema
- Produzido
- Professor
- provedor
- fornecendo
- qualidade
- reais
- clientes
- razão
- Recomenda
- confiável
- depender
- permanece
- repetitivo
- substituir
- representação
- pesquisa
- pesquisadores
- respostas
- Resultados
- ROBERT
- Execute
- s
- Dito
- mesmo
- Escala
- cenário
- Escola
- Ciência
- Segredo
- Vejo
- Serviços
- situações
- pequeno
- Soluções
- alguns
- Alguém
- fonte
- específico
- padrão
- estudante
- Estudo
- Submissões
- apresentado
- tal
- Sugere
- resumir
- RESUMO
- suíço
- Suíça
- sintético
- .
- sistemas
- Tire
- Tarefa
- tarefas
- Profissionais
- teste
- testado
- do que
- que
- A
- O Futuro
- deles
- Eles
- si mesmos
- então
- Lá.
- Este
- deles
- coisas
- Terceiro
- isto
- esta semana
- para
- hoje
- também
- ferramentas
- para
- tradicional
- Trem
- treinado
- Training
- tentar
- VIRAR
- tipos
- improvável
- não desejado
- us
- Uso
- usar
- usava
- usos
- utilização
- geralmente
- VALIDAR
- Valioso
- muito
- via
- salário
- queremos
- foi
- maneiras
- we
- semana
- BEM
- foram
- Ocidente
- O Quê
- quando
- se
- qual
- enquanto
- precisarão
- de
- Atividades:
- trabalhou
- trabalhadores
- pior
- zefirnet