La cursa per construir sistemes d'intel·ligència artificial cada vegada més capaços comença a incorporar una nova preocupació: com garantir que el ritme de desenvolupament no acabi superant la capacitat de les persones per supervisar-lo. En aquest context, OpenAI ha plantejat una proposta per establir estàndards tècnics comuns que permetin avaluar els models de frontera i gestionar de forma coordinada els riscos associats a la seva evolució.
La iniciativa arriba després de diversos senyals procedents del sector que apunten en la mateixa direcció. Anthropic ha advertit de l'avanç cap a sistemes capaços d'assumir una part creixent del propi procés de desenvolupament de la IA, fins al punt de contemplar un escenari futur de millora recursiva. La companyia subratlla que aquest nivell d'autonomia encara no existeix, però considera que podria arribar abans que les institucions estiguin preparades per afrontar-lo.
OpenAI planteja ara que la seguretat no depengui exclusivament dels protocols interns de cada laboratori. La seva proposta passa per desenvolupar criteris compartits per mesurar capacitats, avaluar riscos i establir procediments davant de possibles incidents, amb la participació d'organismes de seguretat de la IA, experts independents, investigadors i companyies del sector. La companyia sosté que aquests estàndards haurien de poder aplicar-se tant a models oberts com tancats.
El repte que la IA pugui contribuir a crear la següent generació de IA
Un dels escenaris que més atenció concentra és el de la denominada millora recursiva. Es tracta de la possibilitat que els sistemes d'IA participin cada vegada més en el disseny, entrenament, avaluació o desenvolupament de models posteriors, reduint progressivament la intervenció humana.
Anthropic ja ha documentat com els seus sistemes estan assumint una part creixent de tasques relacionades amb el desenvolupament de programari i la investigació. La companyia considera que, si aquesta tendència avancés fins a permetre que una IA dissenyés i desenvolupés de manera autònoma la seva successora, augmentarien també els desafiaments relacionats amb la supervisió i el control d'aquests sistemes.
OpenAI sosté, en línia amb aquest debat, que el progrés de les capacitats ha d'anar acompanyat per un avanç equivalent en alineament, avaluació i mecanismes de seguretat. L'objectiu és que els models més sofisticats continuïn funcionant dins d'uns límits definits per les persones, fins i tot a mesura que augmenti la seva autonomia.
Una proposta que busca coordinar laboratoris i governs
La proposta d'OpenAI no planteja simplement reforçar les mesures de seguretat dins dels seus propis models. La companyia aposta per establir un llenguatge tècnic comú que permeti comparar capacitats i riscos entre diferents sistemes i faciliti la cooperació internacional.
Entre les qüestions que haurien de quedar definides figuren també quins incidents s'han de comunicar, quan fer-ho i quina resposta correspon en funció de la seva gravetat. La companyia defensa a més una major col·laboració entre governs, laboratoris i organismes especialitzats per compartir informació sobre vulnerabilitats i pràctiques de seguretat.
El plantejament arriba mentre altres companyies del sector estan reforçant els seus propis mecanismes. Anthropic, per exemple, ha publicat recentment noves investigacions sobre alineament i seguretat i ha informat de casos reals d'ús indegut dels seus models, alhora que ha endurit els seus sistemes de protecció davant de determinats riscos.
La qüestió de fons, per tant, ja no es limita a què serà capaç de fer la pròxima generació d'intel·ligència artificial, sinó a com es mesurarà aquest avanç i qui establirà els límits quan les màquines comencin a participar de forma cada vegada més directa en el seu propi desenvolupament. OpenAI proposa ara que part d'aquestes regles siguin comunes. El debat, però, haurà d'estendre's molt més enllà d'una sola companyia i, previsiblement, d'un sol país.
Afegeix ElConstitucional.es com a font preferida de Google de forma gratuïta.
Mantén-te informat de totes les notícies d'última hora i amb la millor informació. Contra la desinformació, per la democràcia i els drets socials.