La carrera por construir sistemas de inteligencia artificial cada vez más capaces empieza a incorporar una nueva preocupación: cómo garantizar que el ritmo de desarrollo no termine superando la capacidad de las personas para supervisarlo. En este contexto, OpenAI ha planteado una propuesta para establecer estándares técnicos comunes que permitan evaluar los modelos de frontera y gestionar de forma coordinada los riesgos asociados a su evolución.
La iniciativa llega después de varias señales procedentes del sector que apuntan en la misma dirección. Anthropic ha advertido del avance hacia sistemas capaces de asumir una parte creciente del propio proceso de desarrollo de la IA, hasta el punto de contemplar un escenario futuro de mejora recursiva. La compañía subraya que ese nivel de autonomía todavía no existe, pero considera que podría llegar antes de que las instituciones estén preparadas para afrontarlo.
OpenAI plantea ahora que la seguridad no dependa exclusivamente de los protocolos internos de cada laboratorio. Su propuesta pasa por desarrollar criterios compartidos para medir capacidades, evaluar riesgos y establecer procedimientos ante posibles incidentes, con la participación de organismos de seguridad de la IA, expertos independientes, investigadores y compañías del sector. La compañía sostiene que estos estándares deberían poder aplicarse tanto a modelos abiertos como cerrados.
El reto de que la IA pueda contribuir a crear la siguiente generación de IA
Uno de los escenarios que más atención concentra es el de la denominada mejora recursiva. Se trata de la posibilidad de que los sistemas de IA participen cada vez más en el diseño, entrenamiento, evaluación o desarrollo de modelos posteriores, reduciendo progresivamente la intervención humana.
Anthropic ya ha documentado cómo sus sistemas están asumiendo una parte creciente de tareas relacionadas con el desarrollo de software y la investigación. La compañía considera que, si esta tendencia avanzara hasta permitir que una IA diseñara y desarrollara de manera autónoma a su sucesora, aumentarían también los desafíos relacionados con la supervisión y el control de estos sistemas.
OpenAI sostiene, en línea con este debate, que el progreso de las capacidades debe ir acompañado por un avance equivalente en alineamiento, evaluación y mecanismos de seguridad. El objetivo es que los modelos más sofisticados continúen funcionando dentro de unos límites definidos por las personas, incluso a medida que aumente su autonomía.
Una propuesta que busca coordinar a laboratorios y gobiernos
La propuesta de OpenAI no plantea simplemente reforzar las medidas de seguridad dentro de sus propios modelos. La compañía apuesta por establecer un lenguaje técnico común que permita comparar capacidades y riesgos entre distintos sistemas y facilite la cooperación internacional.
Entre las cuestiones que deberían quedar definidas figuran también qué incidentes deben comunicarse, cuándo hacerlo y qué respuesta corresponde en función de su gravedad. La compañía defiende además una mayor colaboración entre gobiernos, laboratorios y organismos especializados para compartir información sobre vulnerabilidades y prácticas de seguridad.
El planteamiento llega mientras otras compañías del sector están reforzando sus propios mecanismos. Anthropic, por ejemplo, ha publicado recientemente nuevas investigaciones sobre alineamiento y seguridad y ha informado de casos reales de uso indebido de sus modelos, al tiempo que ha endurecido sus sistemas de protección frente a determinados riesgos.
La cuestión de fondo, por tanto, ya no se limita a qué será capaz de hacer la próxima generación de inteligencia artificial, sino a cómo se medirá ese avance y quién establecerá los límites cuando las máquinas comiencen a participar de forma cada vez más directa en su propio desarrollo. OpenAI propone ahora que parte de esas reglas sean comunes. El debate, sin embargo, tendrá que extenderse mucho más allá de una sola compañía y, previsiblemente, de un solo país.
Añadir ElConstitucional.es como fuente preferida de Google de forma gratuita.
Mantente informado de todas las noticias de última hora y con la mejor información. Contra la desinformación, por la democracia y los derechos sociales.
