El cofundador de Anthropic Jack Clark advierte de que los agentes de IA pronto podrían crear y entrenar modelos por sí solos, lo que haría que los humanos perdieran el control de estos sistemas. Jack Clark, cofundador de Anthropic, quiere que la industria de la inteligencia artificial ponga freno antes de que la tecnología empiece a seguir desarrollándose por sí sola, sin intervención humana. En declaraciones a la 'BBC', Clark afirmó que el 80% del trabajo de programación de Anthropic ya lo realiza su IA Claude, y que esa proporción podría llegar al 100% en un par de años.

Sin embargo, subrayó que "es una decisión" permitir que las empresas de IA lleguen hasta ese punto sin detener el proceso. "Creemos que este es un asunto del que el mundo debería hablar mucho más", dijo Clark. "La industria de la IA ahora mismo tiene un acelerador, pero no tiene un pedal de freno en el coche, y nosotros queremos hacer parte del trabajo para construir ese pedal". Este proceso se conoce como "mejora recursiva de sí misma", en el que una IA es capaz de perfeccionarse sin intervención humana, según explicó Anthropic en una entrada relacionada de su blog publicada el jueves por la noche. En un modelo recursivo, los agentes de IA, los trabajadores autónomos creados por un chatbot, podrían "llegar a ser lo bastante capaces como para construir y entrenar modelos por sí mismos", de modo que Claude "podría mejorar de forma continua gracias a Claude", señaló Anthropic.

Aunque una IA recursiva podría aportar beneficios a la ciencia y la sanidad, Anthropic advierte de que también podría aumentar "el riesgo de que los humanos pierdan el control sobre los sistemas de IA". El texto señala que, "si los sistemas son capaces de construir por completo a sus propios sucesores, las formas en que los protegemos, los supervisamos y moldeamos su comportamiento pasan a ser mucho más importantes". Según Anthropic, hay indicios en su propio modelo de que la recursión llegará más pronto que tarde.

La empresa destaca que la tasa de correcciones de código por parte de su personal ha ido cayendo de forma constante durante el último año, lo que significa que hay menos errores en lo que produce Claude. Claude también es capaz de llevar a cabo sus propios experimentos de investigación cuando se le plantea una pregunta abierta, como "¿Puede un modelo más débil supervisar a uno más potente?", y de encontrar sus propias soluciones sin intervención humana. Según la entrada, "las pruebas apuntan a que el papel de las personas se reduce en cada etapa del proceso de desarrollo de la IA".

Anthropic indicó que su instituto llevará a cabo investigaciones para diseñar un sistema que verifique si los desarrolladores han frenado o ralentizado de verdad el avance hacia una IA recursiva. Sin embargo, un freno real exigiría que "varios laboratorios bien dotados, en la frontera tecnológica o cerca de ella, en varios países, aceptaran detenerse bajo las mismas condiciones".