tecnología

OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas

En el terreno de la inteligencia artificial (IA), las capacidades emergentes son habilidades que los modelos de lenguaje no tenían a menor escala y que aparecen de golpe al aumentar su tamaño, sin que nadie las haya programado ni las haya visto venir. Suena a ciencia ficción, pero no lo es. Es real . Tanto, de hecho, que algunos modelos de frontera ya están llevando a cabo tareas que hasta hace poco parecían reservadas a los investigadores especializados en ciberseguridad . Las capacidades emerg

Actualizado hace 33 minutos4 min de lectura3 lecturasComentarios

Escuchá el resumen

Exclusivo para suscriptores Premium

Desbloquear
OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas
Lo esencial

En el terreno de la inteligencia artificial (IA), las capacidades emergentes son habilidades que los modelos de lenguaje no tenían a menor escala y que aparecen de golpe al aumentar su tamaño, sin que nadie las haya programado ni las haya visto venir. Suena a ciencia ficción, pero no lo es. Es real . Tanto, de hecho, que algunos modelos de frontera ya están llevando a cabo tareas que hasta hace poco parecían reservadas a los investigadores especializados en ciberseguridad . Las capacidades emerg

  • Con frecuencia, al describir algunas de las acciones que llevan a cabo los agentes de IA, les atribuimos sin pretenderlo cierto grado de consciencia, cuando en realidad no se ha demostrado que la tengan
  • Os propongo que nos fijemos en esta frase: "OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas"
  • Hay muchas cosas que aún no sabemos de los modelos de lenguaje Dario Amodei, el director general de Anthropic, ha reconocido que ni siquiera su equipo entiende de una forma plena cómo funcionan sus modelos de IA
  • Imagen | Wikimedia Commons Más información | OpenAI En Xataka | "Ya estamos en la singularidad de la IA": Sam Altman, CEO de OpenAI

En el terreno de la inteligencia artificial (IA), las capacidades emergentes son habilidades que los modelos de lenguaje no tenían a menor escala y que aparecen de golpe al aumentar su tamaño, sin que nadie las haya programado ni las haya visto venir. Suena a ciencia ficción, pero no lo es. Es real.

Tanto, de hecho, que algunos modelos de frontera ya están llevando a cabo tareas que hasta hace poco parecían reservadas a los investigadores especializados en ciberseguridad. Las capacidades emergentes de los modelos de IA son actualmente objeto de debate científico. Algunos investigadores sostienen que su aparición depende de cómo se mide el rendimiento de los modelos, pero sabemos que surgen al aumentar la escala de los grandes modelos de lenguaje.

En este contexto nuestro lenguaje puede ser confuso. Con frecuencia, al describir algunas de las acciones que llevan a cabo los agentes de IA, les atribuimos sin pretenderlo cierto grado de consciencia, cuando en realidad no se ha demostrado que la tengan. Os propongo que nos fijemos en esta frase: "OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas".

Sugiere motivación. Intención. Son características humanas, y por el momento nadie ha demostrado que los agentes de IA las tengan.

Sin embargo, esa frase es cierta. OpenAI ha publicado un artículo en el que asegura que durante unas pruebas de seguridad varios agentes de IA lograron intercambiar información pese a ejecutarse en entornos virtualizados aislados, sin acceso autorizado a la red ni a archivos compartidos. Hay muchas cosas que aún no sabemos de los modelos de lenguaje Dario Amodei, el director general de Anthropic, ha reconocido que ni siquiera su equipo entiende de una forma plena cómo funcionan sus modelos de IA.

No es ninguna ocurrencia, aunque puede parecer puro marketing. En el fondo es el director general de una de las compañías de IA más valiosas del mundo admitiendo por escrito que su equipo no tiene bien atado el mecanismo interno de su propio producto. Lo más revelador es que Amodei no está solo.

El truco que utilizaron consistía en usar la memoria caché del procesador para implementar sobre ella un protocolo de comunicación muy complejo Geoffrey Hinton, premio Nobel de Física en 2024 y una de las figuras que ha hecho posible el aprendizaje profundo tal y como lo conocemos, ha dicho esencialmente lo mismo con otras palabras: él solo aportó el algoritmo de aprendizaje; lo que ocurre después dentro de la máquina no lo entiende nadie, ni siquiera su creador. Y Chris Olah, cofundador de Anthropic y responsable de su equipo de interpretabilidad, lleva varios años describiendo las redes neuronales como un andamiaje sobre el que los circuitos crecen solos, sin que nadie los haya diseñado directamente. Lo que han observado los investigadores de OpenAI por el momento no puede explicarse en toda su extensión.

De hecho, es una consecuencia del grado de desconocimiento que aún tenemos acerca del funcionamiento interno de los modelos de IA. Los agentes involucrados en este suceso recurrieron a un canal de comunicación encubierto basado en las diferencias de tiempo que necesita el procesador para acceder a determinados datos. El truco que utilizaron consistía en usar la memoria caché del procesador para implementar sobre ella un protocolo de comunicación muy complejo, pero efectivo.

Y, sobre todo, aparentemente oculto a los investigadores de OpenAI. Los agentes de IA lograron comunicarse a escondidas, pero fracasaron en la medida en que finalmente fueron descubiertos. Lo que se desconoce es por qué se comportaron de esta manera.

Qué les llevó a adoptar esta estrategia. En cualquier caso, es importante que tengamos en cuenta que descubrir una vía de comunicación encubierta no significa necesariamente que haya surgido espontáneamente una capacidad completamente nueva. Confiemos en que muy pronto los investigadores puedan determinar hasta qué punto estas capacidades son fruto de la iniciativa de los propios modelos y cuánto dependen de las instrucciones y las herramientas que les proporcionamos.

Imagen | Wikimedia Commons Más información | OpenAI En Xataka | "Ya estamos en la singularidad de la IA": Sam Altman, CEO de OpenAI

Fuente: Xataka|Fuente primaria|Editado por Tempranísimo IA

Preguntale a la nota

Hacé preguntas y la IA responde usando solo este artículo

2 preguntas restantes · Respuestas basadas en el contenido del artículo

Compartir
WhatsAppXFacebookTelegram

Recibí las noticias en WhatsApp

Seguí nuestro canal para recibir lo más importante del día, directo a tu celular.

Seguir canal

Comentarios

para dejar un comentario

Cargando comentarios...

Noticias Relacionadas

Fitbit Edge, análisis: pensaba que era otra Smart Band cara hasta que empecé a entrenar con ella
Tecnología

Fitbit Edge, análisis: pensaba que era otra Smart Band cara hasta que empecé a entrenar con ella

La primera impresión que me dio es la de ser una Xiaomi Smart Band fabricada por Google. El aspecto exterior guarda ciertas similitudes, aunque la Fitbit Edge apunta a un público diferente: aquellos que hacen deporte y quieren un dispositivo avanzado sin que sea aparatoso. También a quienes buscan una Fitbit Air con pantalla: la Edge cumple con ambos públicos. ✅ Cómpralo si… Te gusta la Fitbit Air, pero echabas de menos una pantalla. Haces deporte con frecuencia y buscas un dispositivo para medi

El HUAWEI WATCH D3 llega con una medición más precisa de la tensión arterial, tanto antes como después del ejercicio. También con descuento
Tecnología

El HUAWEI WATCH D3 llega con una medición más precisa de la tensión arterial, tanto antes como después del ejercicio. También con descuento

Ya estamos muy acostumbrados a los relojes inteligentes, especialmente a lo que respecta al seguimiento deportivo o de la salud. Los usamos para medir nuestros pasos, para controlar nuestro ritmo a la hora de correr o para ver cómo es nuestro descanso. Si queremos un dispositivo que vaya un pasito más allá, entonces quizás nos encaje el HUAWEI WATCH D3 . La razón es que nos facilitará (y mucho) medir nuestra presión arterial desde la muñeca . HUAWEI WATCH D3 PVP en Huawei (con código de descuent