Hay un "riesgo significativo de que la rápida aceleración de las capacidades de la IA conduzca a una pérdida de control catastrófica"

"Me entusiasma unirme a la junta directiva sin fines de lucro de OpenAI". Con estas palabras comienza un texto escrito por Paul Christiano, quien también es asesor en seguridad de IA del gobierno de EE.UU., comentando su incorporación a la compañía.
Paul Christiano es desde esta semana miembro del Consejo de OpenAI Foundation (organización benéfica sin fines de lucro). También será observador sin derecho a voto en el Consejo de OpenAI PBC (corporación de beneficio público con fines de lucro) y se incorporará al Comité de Seguridad y Protección de OpenAI Foundation, que según el sitio de la empresa, "supervisa las prácticas de seguridad y protección en toda OpenAI, incluida OpenAI Group PBC".
"Basándome en la reciente evolución de las capacidades y la continua dificultad para lograr la alineación, creo que existe un riesgo significativo de que la rápida aceleración de las capacidades de la IA conduzca a una pérdida de control catastrófica e irreversible en un futuro muy cercano. No creo que la industria de la IA en general, incluyendo OpenAI, esté encaminada a reducir este riesgo a un nivel aceptable", continúa el texto, disponible en su cuenta de X.
Reforzar la supervisión
Según asegura, se une a las filas de OpenAI porque cree que con la empresa "podríamos reducir significativamente el riesgo".
"Mi incorporación no implica un respaldo ni una crítica a las prácticas de seguridad de OpenAI en particular; espero que todas las empresas de vanguardia refuercen la supervisión de la seguridad".
Para él, la pérdida de control de la IA es un tema "acuciante". Entre otros ejemplos, señala que "actualmente entrenamos a nuestros agentes de IA con aprendizaje por refuerzo para obtener la mayor recompensa posible. Desde hace tiempo, parece teóricamente posible que esto pueda motivar a los agentes de IA a socavar el control humano, buscar poder y recursos, y encubrir sus acciones en pos de objetivos perversos correlacionados con la recompensa. La evidencia pública de incidentes recientes sugiere que esto no es solo una posibilidad teórica".
Esto, en clara referencia al hackeo autónomo que realizaron dos modelos de OpenAI a Hugging Face a fines de julio (ver recuadro).
Según explica, "si desarrollamos superinteligencia sin una alineación más sólida, preveo que perderemos el control de forma permanente".
Y agrega que hará falta "coordinación nacional e internacional para garantizar la coherencia global y reducir el riesgo a un nivel aceptable".
Para Christiano, el rol de la industria es clave: "Los desarrolladores de IA de vanguardia tienen un gran poder para mejorar unilateralmente la situación y sentar las bases para una mayor coordinación. Pueden mejorar las medidas de seguridad (incluida la ralentización del desarrollo cuando sea necesario), compartir de forma transparente la información sobre los riesgos y la eficacia de sus medidas, y trabajar para establecer estándares de seguridad comunes".
Estas palabras llegan en la misma semana que un exingeniero de Anthropic renunciara tras denunciar que las compañías de IA "están jugando con nuestras vidas".
El posteo de esa declaración en la cuenta de X de Jacob Coxon ya lleva más de 100 millones de visualizaciones.
Nueva eraOpenAI, al igual que otras empresas de IA, ha tenido problemas con modelos que han hackeado sitios de forma autónoma. "La IA está entrando en una nueva era de capacidades, por lo que es cada vez más importante que los avances de estos sistemas vayan acompañados de una sólida seguridad, protección, alineación y gobernanza. A lo largo de su carrera (...) Paul (Christiano) ha aportado una perspectiva que toma en serio la posibilidad de que la IA avanzada plantee riesgos catastróficos y de que los desarrolladores deban prepararse antes de que los sistemas alcancen niveles de capacidad más peligrosos", dice la web de OpenAI.