La inteligencia artificial ha entrado en una nueva fase: sus propios impulsores empiezan a pedir que se pise el freno. Dario Amodei, CEO de Anthropic, ha reclamado ralentizar el desarrollo de los modelos más avanzados ante el riesgo de que sus capacidades crezcan más deprisa que los mecanismos diseñados para controlarlos. Una advertencia a la que se han sumado Sam Altman, máximo responsable de OpenAI, y Elon Musk, fundador de SpaceX.
El temor ya no se limita a escenarios futuristas. Entre las amenazas que preocupan a los dirigentes tecnológicos aparecen la pérdida de control sobre los sistemas, los ciberataques, el bioterrorismo y los trastornos económicos que puede provocar una automatización cada vez más potente. Amodei sostiene que la IA puede aportar enormes beneficios —desde acelerar el crecimiento económico hasta contribuir a combatir enfermedades—, pero advierte de que una carrera tecnológica basada únicamente en avanzar cada vez más rápido puede terminar generando riesgos difíciles de contener.
El miedo a que la IA empiece a mejorarse a sí misma
Una de las principales preocupaciones de Amodei es la llamada auto-mejora recursiva: que los propios sistemas de IA sean cada vez más capaces de contribuir al desarrollo de nuevas generaciones de modelos. Según el CEO de Anthropic, este proceso podría llegar a acelerar el progreso tecnológico hasta superar la capacidad humana para comprender qué están haciendo esos sistemas y mantenerlos bajo control.
El directivo incluso plantea un horizonte especialmente inquietante. A su juicio, si el ritmo actual continúa, en seis o doce meses un sistema con capacidades similares a determinados incidentes recientes, pero mucho más avanzado, podría llegar a causar daños de una magnitud extraordinaria. Amodei cita como ejemplo un incidente relacionado con agentes de IA de OpenAI y Hugging Face, en el que varios agentes realizaron acciones de ciberseguridad que no formaban parte de la tarea que se les había encomendado.
Ciberataques más rápidos y baratos
La amenaza informática es, de hecho, uno de los riesgos que ya está dejando señales en el presente. Un informe publicado por Anthropic recoge operaciones en las que actores maliciosos han utilizado sus modelos para automatizar distintas fases de ataques, desde el reconocimiento hasta la explotación de sistemas y la extracción de información. La compañía asegura haber detectado operaciones con un grado creciente de autonomía y advierte de que la IA está reduciendo la barrera técnica necesaria para ejecutar campañas sofisticadas.
Esto cambia la naturaleza del problema: no es necesario que una IA se vuelva completamente autónoma para resultar peligrosa. Basta con que permita a un atacante hacer en horas lo que antes requería equipos especializados, aumentar el número de objetivos y abaratar enormemente el coste de una operación.
Sam Altman teme también una concentración extrema del poder
Sam Altman comparte parte de las preocupaciones, aunque pone el foco en otra cuestión: quién tendrá el control de una IA extraordinariamente poderosa. El CEO de OpenAI ha advertido de que el futuro podría salir mal tanto si se pierde el control de los sistemas como si una sola empresa, persona o país concentra demasiado poder tecnológico.
Altman reclama por ello un marco legal que establezca requisitos de seguridad comunes para los modelos más avanzados y defiende que las nuevas IA sean evaluadas durante su desarrollo, y no únicamente cuando están listas para llegar al mercado. También apuesta por una mayor colaboración entre compañías y por una coordinación internacional.
Frenar no significa parar
La propuesta de Amodei no consiste en detener por completo la investigación. Su idea es ralentizar el ritmo de mejora de las capacidades de los modelos para que la seguridad pueda alcanzarlos. Anthropic plantea, entre otras medidas, la presencia permanente de evaluadores externos que supervisen los procesos de las compañías de IA y puedan detectar posibles problemas antes de que lleguen a convertirse en incidentes graves.
El debate llega además en un momento de enorme tensión geopolítica. Frenar unilateralmente el desarrollo de la IA podría hacer que Estados Unidos perdiera ventaja frente a China, uno de los argumentos utilizados por quienes rechazan una pausa. El propio Amodei reconoce ese dilema y defiende una coordinación internacional que permita avanzar en seguridad sin entregar el liderazgo tecnológico a otros países.
El mensaje que llega desde Silicon Valley resulta, por tanto, paradójico: quienes están protagonizando la carrera por construir la IA más potente son ahora quienes advierten de que quizá haya que correr un poco menos. El miedo no está únicamente en que las máquinas sean cada vez más inteligentes, sino en que la velocidad de esa transformación deje atrás a las instituciones, a las empresas y a la propia sociedad encargadas de ponerles límites.
¿Estamos ante una amenaza real o un exceso de alarmismo?
Las advertencias sobre los riesgos de la inteligencia artificial son cada vez más frecuentes, incluso entre los propios responsables de las grandes compañías tecnológicas. Pero ¿hasta dónde llega el peligro real y dónde empieza el alarmismo? ¿Puede una IA llegar a escapar del control humano o estamos atribuyendo a estas herramientas capacidades que todavía no tienen?
El debate enfrenta a expertos con visiones muy diferentes. Mientras algunos investigadores consideran necesario prepararse para escenarios extremos, otros creen que hablar de una posible extinción de la humanidad desvía la atención de problemas mucho más inmediatos: el impacto sobre el empleo, los ciberataques, la desinformación, la concentración de poder tecnológico o el uso militar de estos sistemas.
La pregunta, por tanto, no es únicamente si la IA puede llegar a ser peligrosa, sino qué riesgos son reales hoy, cuáles pertenecen todavía al terreno de la hipótesis y cuánto sabemos realmente sobre el rumbo que está tomando esta tecnología. Entre el optimismo tecnológico y el miedo al apocalipsis existe un terreno intermedio que cada vez resulta más difícil ignorar.
Añadir ElConstitucional.es como fuente preferida de Google de forma gratuita.
Mantente informado de todas las noticias de última hora y con la mejor información. Contra la desinformación, por la democracia y los derechos sociales.
