Ex investigador de OpenAI: hay un 50 % de posibilidades de que la IA termine en una "catástrofe"

Un ex investigador clave de OpenAI cree que existe una posibilidad decente de que la inteligencia artificial tome el control de la humanidad y la destruya.

“Creo que tal vez haya una probabilidad del 10 al 20 % de que la IA tome el control, [con] muchos [o] la mayoría de los humanos muertos”, Paul Christiano, quien dirigió el equipo de alineación del modelo de lenguaje en OpenAI, dijo en el Podcast sin banco. “Me lo tomo muy en serio”.

Christiano, que ahora dirige la Centro de Investigación de Alineación, una organización sin fines de lucro cuyo objetivo es alinear las IA y los sistemas de aprendizaje automático con los "intereses humanos", dijo que está particularmente preocupado por lo que sucede cuando las IA alcanzan la capacidad lógica y creativa de un ser humano. “En general, tal vez estemos hablando de una probabilidad del 50/50 de que ocurra una catástrofe poco después de que tengamos sistemas a nivel humano”, dijo.

Christiano está en buena compañía. Recientemente, decenas de científicos de todo el mundo firmó una carta en línea instando a que OpenAI y otras empresas que compiten para construir IA más rápidas e inteligentes presionen el botón de pausa en el desarrollo. Grandes pelucas de Bill Gates a Elon Musk han expresado su preocupación de que, si no se controla, la IA representa un peligro existencial obvio para las personas.

no seas malvado

¿Por qué la IA se volvería mala? Fundamentalmente, por el mismo motivo que lo hace una persona: formación y experiencia de vida.

Como un bebe, La IA está entrenada recibiendo montañas de datos sin saber realmente qué hacer con ellos. Aprende tratando de lograr ciertos objetivos con acciones aleatorias y se centra en los resultados "correctos", según lo define el entrenamiento.

Hasta ahora, al sumergirse en los datos acumulados en Internet, el aprendizaje automático ha permitido a las IA dar grandes saltos al encadenar respuestas coherentes y bien estructuradas a las consultas humanas. Al mismo tiempo, el procesamiento informático subyacente que impulsa el aprendizaje automático es cada vez más rápido, mejor y más especializado. Algunos científicos creen que dentro de una década, ese poder de procesamiento, combinado con la inteligencia artificial, permitirá que estas máquinas se vuelvan sensibles, como los humanos, y tengan un sentido de sí mismas.

Ahí es cuando las cosas se ponen peludas. Y es por eso que muchos investigadores argumentan que debemos descubrir cómo imponer barandillas ahora, en lugar de más tarde. Mientras se controle el comportamiento de la IA, puede ser controlado.

Pero si la moneda cae del otro lado, incluso el cofundador de OpenAI dice que las cosas podrían ponerse muy, muy mala.

¿Fomsday?

Este tema lleva años sobre la mesa. Uno de los debates más famosos sobre el tema tuvo lugar hace 11 años entre un investigador de IA Eliezer Yudkowski y el economista Robin Hanson. Los dos discutieron la posibilidad de llegar a “espuma”, que aparentemente significa “Fast Onset of Overwhelming Mastery”, el punto en el que la IA se vuelve exponencialmente más inteligente que los humanos y capaz de mejorarse a sí misma. (La derivación del término "foom" es discutible.)

“Eliezer y sus acólitos creen que es inevitable que las IA hagan 'foom' sin previo aviso, lo que significa que un día construyes una AGI [inteligencia general artificial] y horas o días después, la cosa se automejora recursivamente hasta convertirse en una inteligencia divina y luego se come el mundo. . ¿Es esto realista?” Perry Metzger, científico informático activo en la comunidad de IA, tuiteó recientemente.

Metzger argumentó que incluso cuando los sistemas informáticos alcanzan un nivel de inteligencia humana, todavía hay mucho tiempo para evitar cualquier resultado negativo. “¿Es 'foom' lógicamente posible? Tal vez. No estoy convencido”, dijo. “¿Es posible el mundo real? Estoy bastante seguro de que no. ¿La IA profundamente sobrehumana a largo plazo va a ser una cosa? Sí, pero no un 'foom'”

Otra figura prominente, Yann Le Cun, también alzó la voz y afirmó que es “absolutamente imposible”, para que la humanidad experimente una toma de control de la IA”. Ojala.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
• Acuñando el futuro con Adryenn Ashley. Accede Aquí.
• Fuente: https://decrypt.co/138310/openai-researcher-chance-ai-catastrophe