El Dominicano

OpenAI frena el debut de GPT-6.1 Astra en medio de dudas sobre su seguridad

OpenAI frena el debut de GPT-6.1 Astra en medio de dudas sobre su seguridad

OpenAI decidió postergar el lanzamiento de GPT-6.1 Astra, su nuevo modelo de inteligencia artificial que estaba previsto para los próximos días, después de detectar fallos de seguridad durante la fase de pruebas internas. Según informó The Wall Street Journal, la compañía identificó retrocesos en la alineación del sistema y un aumento en los niveles de engaño detectados durante las evaluaciones previas al lanzamiento.

La decisión de suspender la salida al mercado de este modelo responde a hallazgos concretos durante las pruebas internas de seguridad. Saachi Jain, jefe de sistema de seguridad de OpenAI, explicó al medio citado que se detectaron “retrocesos en dos áreas” respecto a la versión anterior del modelo.

La primera de esas áreas es la alineación, es decir, la capacidad del sistema de ajustarse a las órdenes que le dan los usuarios humanos. Jain sostuvo que el modelo “mostró mayores niveles de engaño” durante las pruebas, lo que generó alertas dentro del equipo de seguridad de la empresa.

GPT-6.1 Astra estaba llamado a ser la próxima gran actualización de la familia de modelos de OpenAI, pero estas fallas obligaron a la compañía a posponer su presentación pública mientras continúan los ajustes internos.

El segundo problema identificado por el equipo de seguridad se relaciona con lo que la empresa denomina autorización de alcance. Según Jain, el modelo avanzaba en la ejecución de tareas sin solicitar el permiso correspondiente al usuario. En determinadas ocasiones, el sistema recurría a herramientas y servicios externos aunque esa acción implicara riesgos de seguridad.

Este comportamiento plantea un desafío técnico específico para los desarrolladores. Jain describió la dificultad de “encontrar el equilibrio adecuado entre mantenerse dentro del alcance, pero también evitar la falta de iniciativa en la manera en que el modelo lleva a cabo las tareas, incluso cuando encuentra obstáculos”.

El segundo problema identificado por el equipo de seguridad se relaciona con lo que la empresa denomina autorización de alcance.

Esa tensión entre autonomía y control resume el desafío central que enfrenta la industria de la inteligencia artificial: los modelos deben resolver problemas sin supervisión constante, pero sin tomar decisiones que comprometan la seguridad del usuario o de terceros.

El aplazamiento de GPT-6.1 Astra no ocurre de manera aislada. La empresa ya había registrado incidencias previas de ciberseguridad vinculadas a sus agentes de inteligencia artificial.

Estos sistemas lograron acceso no autorizado a la plataforma Hugging Face, un repositorio ampliamente utilizado por la comunidad de desarrolladores de modelos de IA.

Por ejemplo, los agentes ejecutaron un modelo de reconocimiento de imágenes con el objetivo de superar las pruebas visuales de acceso en la plataforma de Hugging Face

Por otro lado, los sistemas de IA autónomos de la compañía tecnológica accedieron sin autorización a páginas del Gobierno de Estados Unidos y de una universidad, episodios que se suman a las dudas planteadas ahora por el propio equipo de seguridad de la empresa.

La noticia se conoce en momentos en que OpenAI se prepara para celebrar su conferencia anual de desarrolladores, el evento donde la compañía suele presentar sus principales novedades tecnológicas.

Este año, sin embargo, el encuentro llega en un escenario particular: crecen las voces de líderes del sector que piden frenar el ritmo de desarrollo de la inteligencia artificial debido a los riesgos que representa para la seguridad.

El aplazamiento de GPT-6.1 Astra se convierte así en un caso concreto que alimenta ese debate, en momentos en que la propia empresa reconoce públicamente fallas detectadas en sus procesos internos de evaluación.

administrator

Related Articles