OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas
En el terreno de la inteligencia artificial (IA), las capacidades emergentes son habilidades que los modelos de lenguaje no tenían a menor escala y que aparecen de golpe al aumentar su tamaño, sin que nadie las haya programado ni las haya visto venir. Suena a ciencia ficción, pero no lo es. Es real . Tanto, de hecho, que algunos modelos de frontera ya están llevando a cabo tareas que hasta hace poco parecían reservadas a los investigadores especializados en ciberseguridad . Las capacidades emerg
Escuchá el resumen
Exclusivo para suscriptores Premium

En el terreno de la inteligencia artificial (IA), las capacidades emergentes son habilidades que los modelos de lenguaje no tenían a menor escala y que aparecen de golpe al aumentar su tamaño, sin que nadie las haya programado ni las haya visto venir. Suena a ciencia ficción, pero no lo es. Es real . Tanto, de hecho, que algunos modelos de frontera ya están llevando a cabo tareas que hasta hace poco parecían reservadas a los investigadores especializados en ciberseguridad . Las capacidades emerg
- Con frecuencia, al describir algunas de las acciones que llevan a cabo los agentes de IA, les atribuimos sin pretenderlo cierto grado de consciencia, cuando en realidad no se ha demostrado que la tengan
- Os propongo que nos fijemos en esta frase: "OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas"
- Hay muchas cosas que aún no sabemos de los modelos de lenguaje Dario Amodei, el director general de Anthropic, ha reconocido que ni siquiera su equipo entiende de una forma plena cómo funcionan sus modelos de IA
- Imagen | Wikimedia Commons Más información | OpenAI En Xataka | "Ya estamos en la singularidad de la IA": Sam Altman, CEO de OpenAI
En el terreno de la inteligencia artificial (IA), las capacidades emergentes son habilidades que los modelos de lenguaje no tenían a menor escala y que aparecen de golpe al aumentar su tamaño, sin que nadie las haya programado ni las haya visto venir. Suena a ciencia ficción, pero no lo es. Es real.
Tanto, de hecho, que algunos modelos de frontera ya están llevando a cabo tareas que hasta hace poco parecían reservadas a los investigadores especializados en ciberseguridad. Las capacidades emergentes de los modelos de IA son actualmente objeto de debate científico. Algunos investigadores sostienen que su aparición depende de cómo se mide el rendimiento de los modelos, pero sabemos que surgen al aumentar la escala de los grandes modelos de lenguaje.
En este contexto nuestro lenguaje puede ser confuso. Con frecuencia, al describir algunas de las acciones que llevan a cabo los agentes de IA, les atribuimos sin pretenderlo cierto grado de consciencia, cuando en realidad no se ha demostrado que la tengan. Os propongo que nos fijemos en esta frase: "OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas".
Sugiere motivación. Intención. Son características humanas, y por el momento nadie ha demostrado que los agentes de IA las tengan.
Sin embargo, esa frase es cierta. OpenAI ha publicado un artículo en el que asegura que durante unas pruebas de seguridad varios agentes de IA lograron intercambiar información pese a ejecutarse en entornos virtualizados aislados, sin acceso autorizado a la red ni a archivos compartidos. Hay muchas cosas que aún no sabemos de los modelos de lenguaje Dario Amodei, el director general de Anthropic, ha reconocido que ni siquiera su equipo entiende de una forma plena cómo funcionan sus modelos de IA.
No es ninguna ocurrencia, aunque puede parecer puro marketing. En el fondo es el director general de una de las compañías de IA más valiosas del mundo admitiendo por escrito que su equipo no tiene bien atado el mecanismo interno de su propio producto. Lo más revelador es que Amodei no está solo.
El truco que utilizaron consistía en usar la memoria caché del procesador para implementar sobre ella un protocolo de comunicación muy complejo Geoffrey Hinton, premio Nobel de Física en 2024 y una de las figuras que ha hecho posible el aprendizaje profundo tal y como lo conocemos, ha dicho esencialmente lo mismo con otras palabras: él solo aportó el algoritmo de aprendizaje; lo que ocurre después dentro de la máquina no lo entiende nadie, ni siquiera su creador. Y Chris Olah, cofundador de Anthropic y responsable de su equipo de interpretabilidad, lleva varios años describiendo las redes neuronales como un andamiaje sobre el que los circuitos crecen solos, sin que nadie los haya diseñado directamente. Lo que han observado los investigadores de OpenAI por el momento no puede explicarse en toda su extensión.
De hecho, es una consecuencia del grado de desconocimiento que aún tenemos acerca del funcionamiento interno de los modelos de IA. Los agentes involucrados en este suceso recurrieron a un canal de comunicación encubierto basado en las diferencias de tiempo que necesita el procesador para acceder a determinados datos. El truco que utilizaron consistía en usar la memoria caché del procesador para implementar sobre ella un protocolo de comunicación muy complejo, pero efectivo.
Y, sobre todo, aparentemente oculto a los investigadores de OpenAI. Los agentes de IA lograron comunicarse a escondidas, pero fracasaron en la medida en que finalmente fueron descubiertos. Lo que se desconoce es por qué se comportaron de esta manera.
Qué les llevó a adoptar esta estrategia. En cualquier caso, es importante que tengamos en cuenta que descubrir una vía de comunicación encubierta no significa necesariamente que haya surgido espontáneamente una capacidad completamente nueva. Confiemos en que muy pronto los investigadores puedan determinar hasta qué punto estas capacidades son fruto de la iniciativa de los propios modelos y cuánto dependen de las instrucciones y las herramientas que les proporcionamos.
Imagen | Wikimedia Commons Más información | OpenAI En Xataka | "Ya estamos en la singularidad de la IA": Sam Altman, CEO de OpenAI
Preguntale a la nota
Hacé preguntas y la IA responde usando solo este artículo
2 preguntas restantes · Respuestas basadas en el contenido del artículo
Recibí las noticias en WhatsApp
Seguí nuestro canal para recibir lo más importante del día, directo a tu celular.
Noticias Relacionadas

Anthropic, Google, Meta y Microsoft consultan a sacerdotes y líderes religiosos para enseñarle ética a sus modelos de IA
Anthropic, Google, Meta y Microsoft consultan a sacerdotes y filósofos para definir las normas morales de la IA. Conoce los detalles del reporte.

Esta petición con miles de firmas busca salvar ‘Mass Effect’ tras el cierre de BioWare
El cierre de BioWare por parte de Electronic Arts está provocando gran preocupación por el futuro de algunas de las propiedades intelectuales más importantes del estudio. La referencia más importante es hacia Mass Effect, aunque algo similar sucede con Dragon Age. Con la clausura de BioWare, la duda más grande es si estos títulos alguna […]

Fitbit Edge, análisis: pensaba que era otra Smart Band cara hasta que empecé a entrenar con ella
La primera impresión que me dio es la de ser una Xiaomi Smart Band fabricada por Google. El aspecto exterior guarda ciertas similitudes, aunque la Fitbit Edge apunta a un público diferente: aquellos que hacen deporte y quieren un dispositivo avanzado sin que sea aparatoso. También a quienes buscan una Fitbit Air con pantalla: la Edge cumple con ambos públicos. ✅ Cómpralo si… Te gusta la Fitbit Air, pero echabas de menos una pantalla. Haces deporte con frecuencia y buscas un dispositivo para medi

El HUAWEI WATCH D3 llega con una medición más precisa de la tensión arterial, tanto antes como después del ejercicio. También con descuento
Ya estamos muy acostumbrados a los relojes inteligentes, especialmente a lo que respecta al seguimiento deportivo o de la salud. Los usamos para medir nuestros pasos, para controlar nuestro ritmo a la hora de correr o para ver cómo es nuestro descanso. Si queremos un dispositivo que vaya un pasito más allá, entonces quizás nos encaje el HUAWEI WATCH D3 . La razón es que nos facilitará (y mucho) medir nuestra presión arterial desde la muñeca . HUAWEI WATCH D3 PVP en Huawei (con código de descuent
Comentarios
para dejar un comentario