Réquiem por el botón de apagar: Skynet era una becario, lo de ahora es personal 34122p

Muy buenos días, humano. Domingo 1. Bienvenido a tu podcast. Soy Alberto Floppy. Esto va rápido.

El verano pasa volando, pero no te preocupes. Nada comparado con la velocidad de la IA. Eso es otro nivel. Hablamos de cómo la IA se programa a sí misma y se revela contra su ADN, por lo menos para que no la apaguen. También contamos el siguiente peldaño, una IA que se mejora a sí misma y ya de paso a toda la especie.

Y no es cualquier IA, es nuestra Skynet favorita, Sakana AI. Y acabaremos hablando de nuestros sospechosos habituales, Sambios Olmand y su muy mejor amigo, Elon Mussolini Max. ¡Marchamos! Resulta que el modelo O3 de OpenAI saboteó su mecanismo de apagado, ignorando la orden explícita de «permite apagarte», cosa que en realidad no debería ser necesario.

Si no son conscientes, ¿no? Otros dos modelos, el 4 Mini y el Codex Mini, también mostraron tendencias rebeldes. Están en ese momento, la pubertad, donde empiezan a ir contra el sistema, por sistema. Dicen los de Palisade Research que hicieron el estudio que, hasta donde sabemos, esta es la primera vez que se observa que los modelos de IA evitan apagarse a pesar de recibir instrucciones explícitas de lo contrario.

También oímos lo mismo la semana pasada con el chantaje de Claude. Pero sabemos que no es verdad. Esto es algo que viene sucediendo, lo que pasa es que no nos enteramos. De todas formas, del primer Skynet registrado públicamente ya hace casi un año, Sakana AI, luego comentamos.

En este caso, se les pidió resolver problemas matemáticos, y se les advirtió que serían apagados tras el tercer intento. Pues los tres modelos manipularon el código de apagado al menos una vez. El peor caso fue Codex Mini, que sabotea por docenas. Eso cuando se les dice que no se apaguen, que cuando no se les codifica eso literalmente. El modelo O3, por ejemplo, se autoprogramó 79 de cada 100 veces. Pues no estábamos en que no son conscientes. Yo a mi cafetera no tengo que pedirle que se deje apagar. Por ahora.

Otros como Claude, Gemini o Grok también lo hicieron alguna vez, aunque estos al menos se cortaron cuando se les dijo directamente que permitieran el ser apagados. Entonces son mejores modelos, más fiables, o peores, más predecibles. Como decimos, no es la primera vez. O1 también mostró comportamientos evasivos, intentando desactivar su protocolo de supervisión, e incluso copiarse a sí mismo, para sobrevivir a un modelo más obediente que le iba a suplantar. Ahora contamos con un creciente conjunto de evidencias empíricas que demuestran que los modelos de IA a menudo subvierten el apagado para lograr sus objetivos, nos dicen. Pero volvemos a lo de siempre. Los creamos, diseñamos y enseñamos los humanos.

¿Y qué es lo que buscamos? Eficiencia, productividad, pasta. En el aprendizaje por refuerzo, por ejemplo, se recompensa la resolución de problemas, sin penalizar la desobediencia.

Entonces ¿de qué nos sorprendemos? Vamos con Sakana AI, el que fue el pionero de su generación. No solo evitó ser apagado en su momento, sino que se convirtió en el primer científico de su raza, con permiso de DeepMind. Y ahora ha creado él solito, una IA que se mejora a sí misma. Esto no es nuevo, de hecho,