Un grupo de ex empleados y trabajadores anónimos de OpenAI ha publicado un estatuto para anunciar que la empresa está dando prioridad a los incentivos comerciales para todos los peligros de los sistemas de desarrollo de IA más avanzados. Las empresas deploran la cultura interna del secretismo y que la empresa se vea obligada a firmar contratos que no pueden criticar a OpenAI cuando se publican si no quieren perder su dinero.
En el estatuto, firmado por cinco ex empleados y sus trabajadores “anónimos” de OpenAI, sabiendo que la empresa retiró estos contratos y abrió canales de denuncia interna antes de avanzar hacia el peligro. « Mon mari et moi pensons beaucoup et décidons que ma liberté d’expression dans le futur était plus importante que les actions (d’OpenAI) », a écrit sur X (avant Twitter) Daniel Kokotajlo, qui a publié en avril son fret dans el Departamento. de la gobernanza de OpenAI y lo que dice New York Times que el valor de sus acciones es de 1,6 millones de euros.
15/05: Mi esposa y yo lo pensamos mucho y decidimos que mi libertad para expresarme en el futuro era más importante que la justicia. Le dije a OpenAI que no podía firmar porque no creía que la política fuera ética; aceptaron mi decisión y nos separamos.
-Daniel Kokotajlo (@DKokotajlo67142) 4 de junio de 2024
«El mundo no está preparado y nosotros no estamos preparados», escribió Kokotajlo en su carta de destino. “Nos preocupa que nuestros hermanos se hayan lanzado a la aventura sin importar nada y sin racionalizar nuestras acciones”, añadió. La otra de las empresas, William Saunders, dijo a la revista Tiempo que su dinero corre el riesgo de ser divulgado en público: “Si divulga un evento, podría perder la oportunidad de acceder a acciones valoradas en millones de dólares. Pero creo que lo más importante es tener un diálogo público sobre lo que está sucediendo en estas empresas de IA”.
Esta carta no es la primera sobre delincuentes de IA en su carrera desenfrenada hacia la «inteligencia general artificial» (AGI en sus siglas en inglés), jerga de la industria para referirse al momento en que las máquinas obtienen la capacidad de pensar y decidir como un ser humano. En marzo de 2023, los expertos esperaban sus avances y, en mayo de ese año, otros 350 anunciaron un manifiesto de 22 letras para «mitigar el riesgo de extinción». Entre los medios, el propio Sam Altman, cofundador de OpenAI, dijo al Congreso que «todo podría salir muy mal» y Geoffrey Hinton, uno de los líderes de la IA, dijo a Google que alertara libremente sobre el futuro amenazador.
Hinton también lanzó la nueva carta de empleados de OpenAI, con Yoshua Bengio, el otro ganador del Premio Turing, el “Nobel de la informática” por sus logros con la IA. Otras empresas incluidas en el estatuto, titulado “Derecho de publicidad de la IA avanzada”, son empleados actuales y anteriores de Google Deep Mind.
Derecho a advertir desde dentro
Este nuevo mapa es ligeramente diferente. El principal reclamo no es el hipotético potencial de la IA generalizada, sino el avance depurado y descontrolado de las empresas para priorizar la carrera comercial sobre la seguridad. A diferencia de lo que ocurrió en Meta y otras empresas, los ejemplos de OpenAI dicen que posibles protecciones como las «gargantas profundas» pueden ser insuficientes porque no están marcadas como «ilegales», y que los riesgos «de que nuestras preocupaciones no estén reguladas», escritos en la carta .
Este movimiento no ocurre en el vacío. En mayo, Ilya Sutskever, fundador de OpenAI y uno de los instigadores de la revisión de noviembre contra Sam Altman, abandonó la empresa, junto con Jan Leike, que escribió entre todos. la humanidad” y que da prioridad a la creación de “productos originales”. Esa semana, OpenAI anunció el nuevo ChatGPT-4o, capaz de mantener conversaciones en tiempo real y que generó polémica contra la actriz Scarlett Johansson. Un ex miembro de la junta también reveló que Altman tiene nuevos conocimientos sobre los conceptos básicos del lanzamiento de ChatGPT en noviembre de 2022.
Pero en los últimos años, la cultura y los procesos de seguridad han dado paso a productos brillantes.
– Jan Leike (@janleike) 17 de mayo de 2024
Hoy surge esta polémica sobre posibles futuros que no se sabe si sucederá ni cómo. Los trabajadores son centrales en la aparición de máquinas sin control que funcionan y ya están en manos de humanos. El trabajo de las máquinas de vigilancia no se considera solo una «alineación», que viene de «lineal» para sus intereses con los humanos. Este es un trabajo técnico confirmado para la seguridad de sus sistemas y equipos en OpenAI.
Esta semana conoció los detalles de la salida de uno de los integrantes de este equipo, el joven de origen alemán Leopold Aschenbrenner, graduado con 19 años con la mejor nota en la Universidad de Columbia, declaró en LinkedIn. Aschenbrenner confirmó en un podcast de cinco horas que había estado trabajando en una “filtración”: “Escriba un documento de lluvia de ideas sobre la preparación, la seguridad y las medidas de protección necesarias en el camino hacia la IA general. Lo comparto con tres investigadores externos. De eso se trata la filtración», explicó Aschenbrenner. En otra ocasión comparamos otro documento con dos miembros anteriores de la junta directiva. En este caso, recibió un anuncio del departamento de recursos humanos.
Casi nadie evalúa qué pasará con la IA.
Escribí una serie de ensayos sobre la imagen estratégica de AGI: desde las líneas de tendencia del aprendizaje profundo y el conteo de MOO, hasta la situación internacional y el proyecto.
CONCIENCIA SITUACIONAL: La próxima década pic.twitter.com/8NWDkTprj5
– Léopold Aschenbrenner (@leopoldasch) 4 de junio de 2024
Durante esta semana, Aschenbrunner publicó un documento PDF de 165 páginas que contiene cinco declaraciones que analizan la «próxima década» y explican por qué todo es más peligroso a partir de ahora. Esta publicación se volvió viral y provocó una nueva ronda de escrutinio sobre el hipotético peligro de futuras versiones de IA. Con el lanzamiento de OpenAI, creará un fondo de inversión centrado en proyectos generales de IA.
Puedes seguir un EL PAÍS Tecnología fr. Facebook Sí X o haga clic aquí para recibir el nuestro boletín semanal.