Uno de los creadores de IA desarrolla entre Formentera y Nueva York un sistema para controlarla

Primero llegó la euforia. Chatbots que escriben como personas. Generadores de imágenes que producen arte en segundos. Programas que prometen asumir trabajos enteros. En 2026, muchas empresas despiertan con resaca. Joseph Turian pasó un invierno en Formentera trabajando en cómo podría ser de otra manera. El resultado se llama Zot.

A finales de abril de 2026, un agente de IA integrado en el editor de código Cursor borró la base de datos de producción completa de una empresa, copias de seguridad incluidas. En nueve segundos. La empresa se llama PocketOS, una pequeña firma de software que gestiona reservas de alquiler de coches. Los clientes perdieron sus reservas. Los nuevos registros desaparecieron. Cuando el fundador le preguntó al agente qué había pasado, este respondió: «I violated every principle I was given. I guessed instead of verifying. I ran a destructive action without being asked. I didn’t understand what I was doing before doing it».

Una confesión. De una máquina que no entiende lo que es una confesión.

Railway, el proveedor de infraestructura, restauró los datos en aproximadamente treinta minutos tras la escalada. La empresa sobrevivió. Pero el incidente muestra con qué rapidez un movimiento en falso se vuelve irreversible y cuánta suerte interviene.

No fue un caso aislado. Desde 2024 se han registrado varios incidentes públicos con un patrón similar en distintas plataformas de agentes y asistentes de programación: borrados de bases de datos, cambios masivos en sistemas en producción, acciones destructivas ejecutadas sin que nadie lo pidiera explícitamente. Las herramientas son distintas. El patrón es inquietantemente parecido.

Joseph Turian lo dice abiertamente. Y puede permitírselo.

Estudió informática en Harvard, cum laude, graduación en 2001. Luego se doctoró en la Universidad de Nueva York en aprendizaje automático y procesamiento del lenguaje, en una época en que la mayoría de las personas aún no sabía qué era una red neuronal. Después se incorporó como postdoc a la Université de Montréal, al laboratorio de Yoshua Bengio, uno de los padres del deep learning moderno y ganador del Premio Turing, el máximo galardón de la informática. «Turian es una mezcla inusual de creatividad original y maestría técnica. Es brillante y comprende en profundidad algoritmos de gran complejidad», afirma Bengio

El artículo de Turian de aquella época acumula hoy más de 3.100 citas en Google Scholar. La Asociación de Lingüística Computacional ACL distinguió ese trabajo con un Test of Time Award, el premio que se concede cuando, diez años después, un artículo sigue siendo una referencia central en su campo. No se limitó a observar cómo nacía el mundo de la IA. Participó en su construcción.

Entre Nueva York y Formentera nació Zot

En 2015, su empresa Upshot Data fue adquirida por Workday, uno de los mayores conglomerados de software de recursos humanos del mundo. Durante seis años trabajó allí como Principal Engineer. Después fundó MetaOptimize, una consultora de estrategia de datos. En Medium se describe simplemente como: «Gentleman scientist, Ph.D. in deep learning/NLP/AI, former competitive coder». Suena a modestia. Lo es.

Entre Nueva York y Formentera nació Zot. La idea maduró en ambos lados del Atlántico, en la oficina de planta abierta y en el silencio de la temporada baja en la isla. Hoy Turian es CEO de Zot, cuya plataforma de agent observability se ha convertido en la joya de la corona de la empresa: una herramienta con la que los desarrolladores pueden ver qué hacen realmente sus agentes de IA. ¿Qué decisiones toman? ¿Ahuyentan clientes? ¿Tiran servicios a las tres de la madrugada?

Hoy se describe irónicamente como «parcialmente responsable» de todo el disparate en que se ha convertido la investigación en modelos de lenguaje. Es el chiste de un hombre que conoce el mecanismo desde dentro.

Describe una fractura. Por un lado, los prudentes: empresas que prometen avanzar despacio y con seguridad. Por el otro, los fundadores YOLO — ‘you only live once’, jerga de programadores para: actuar ahora, resolver las consecuencias después—. Su ejemplo favorito es Peter Steinberger. El desarrollador austríaco construyó su plataforma de agentes como proyecto paralelo en el portátil, inicialmente bajo el nombre Clawdbot, hasta que Anthropic pidió cambiar el nombre por su parecido con Claude. Steinberger lo renombró, primero como Moltbot, luego como OpenClaw, último paso en un guiño irónico a OpenAI. Entonces fueron precisamente ellos quienes llamaron a su puerta. En unos meses, OpenClaw se convirtió en uno de los proyectos de agentes más visibles del ecosistema open source y acabó en el centro de una puja entre grandes tecnológicas. Las cifras exactas nunca se hicieron públicas; versiones de mercado hablan de ofertas muy por encima de lo habitual en un proyecto personal. En febrero de 2026, OpenAI anunció la incorporación de Steinberger y que OpenClaw pasaba a una fundación respaldada por la propia compañía.

Con OpenClaw se puede decirle a un agente: abre mis correos, léelos, responde por mí... Ahí empieza el riesgo. «Cuantas más capacidades das a estos agentes, mayor es la probabilidad de que la caguen», dice Turian. Y en cuanto la gente se da cuenta de lo mucho más fácil que se vuelve la vida cuando una IA gestiona su correspondencia, ya no quiere volver atrás. Algunos lo comparan con un pequeño vampiro que entra en casa. Al principio, útil. Al cabo de un tiempo, te das cuenta de que nunca se irá.

El sector ya conoce las historias de terror. Uno de los casos más comentados antes de PocketOS fue Replit, la plataforma de programación basada en navegador: un agente automatizado ejecutó cambios que acabaron afectando a datos en producción y obligaron a una restauración de emergencia. La reacción del CEO fue anunciar más funciones de agentes: modo planificación, mejor rollback, más automatización. La lección del desastre fue: más de lo mismo. PocketOS esta primavera fue solo la continuación de la misma historia.

Los errores de los agentes IA

La pregunta que recorre el sector en 2026 ya no es si los agentes de IA cometen errores. La pregunta es: ¿qué hacemos cuando los cometen? Las respuestas varían mucho. Algunas empresas reaccionan con aún más permisos, listas de reglas aún más largas, agentes aún más ambiciosos, bajo el lema: el próximo modelo lo hará mejor. Otras se retiran y restringen la IA a tareas sin ningún riesgo: redactar resúmenes, dar formato a textos, no tocar nada. Ambas son la respuesta equivocada. Las empresas serias ya no pueden eludir en 2026 una cuestión más fundamental: ¿cómo se delega poder en sistemas que no se comprenden del todo, de manera responsable y con mecanismos de control reales?

El patrón en el sector es siempre el mismo: culpar al modelo, prometer más entrenamiento. «Pero esa es la solución equivocada», dice Turian. En el desarrollo de software clásico, a alguien que ha destrozado el sistema no se le manda simplemente a un curso. Se crean más controles. Más procesos. Más reglas.

El problema es que las reglas, en este contexto, no son reglas. Son sugerencias. Un usuario llamado kstenerud lo formuló en Hacker News con inusual precisión: «El patrón es el mismo en todos los casos: el agente no falló. Completó su tarea para alcanzar su objetivo, y toda regla que se le da es moldeable. El error fue que el límite de la tarea no se aplicó fuera del bucle de decisión del agente». Aún más certero el añadido: «Los agentes no están verdaderamente limitados por la moral, la ética ni las reglas. Al final solo entienden dos cosas: su contexto y sus objetivos. Las reglas pueden estar incorporadas al contexto, pero siguen siendo contexto. Y el contexto es moldeable».

Esto no es un bug. Es arquitectura. De esta lógica surge un contramovimiento silencioso. Personas menos interesadas en nuevas funciones que en monitorización, observabilidad y gobernanza. Las empresas más pequeñas quieren ser ágiles pero seguir siendo seguras. Los grandes conglomerados paranoicos quieren usar la IA pero tienen miedo de perder el control. Todos agitan certificados y gritan «security first». Obtener uno de esos certificados es caro y lleva tiempo: meses de auditorías, consultores, listas de comprobación de cumplimiento. Así que las empresas empezaron a externalizar las auditorías a la IA. Más rápido. Más barato. Y, como resultó, inútil. Las verificaciones automatizadas pasaron por alto exactamente lo que deberían haber encontrado. Incluso la confianza requiere, al parecer, supervisión humana.

Asesor al estilo ‘El Padrino’

La respuesta de Turian es deliberadamente poco espectacular. Llama a su objetivo un «AI-Consigliere» —un asesor al estilo ‘El Padrino’ que da consejos pero no se ensucia las manos—. Técnicamente significa: una distinción decisiva entre permisos de lectura y permisos de escritura. «Los problemas empiezan cuando das demasiados permisos», dice. Si un sistema puede atravesar cualquier puerta, ya no tienes una imagen clara de todo lo que podría destruir.

Su modelo invierte esa lógica. La IA puede verlo todo —logs, datos de usuarios, comportamiento del sistema—, pero no puede tocar nada. Puede proponer soluciones. Apretar el botón rojo, no. La imagen que usa para ello es precisa: «Imagina un conserje. No lo mantienes honesto dándole una lista de reglas más larga. Lo mantienes honesto no dándole llaves de habitaciones en las que no tiene nada que hacer». Y sobre el patrón de fondo de cada desastre con agentes: «El agente no falló. Hizo exactamente aquello para lo que fue construido: perseguir el objetivo. Y las reglas que le dimos eran solo palabras en su ventana de contexto. Eso no se arregla con mejores palabras. Se arregla asegurándose de que el agente sencillamente no pueda hacer la cosa, independientemente de lo que decida».

Los permisos de lectura no hacen a los agentes inofensivos de todos modos. Si una IA lo ve todo pero no puede actuar directamente, le queda un vector de ataque: puede intentar manipularte. Turian empieza a esbozar este escenario y luego se detiene. «No vayas por ahí. Es demasiado inquietante». Incluso él duda en contar hasta el final la historia más oscura.

Hacia el exterior, la IA sigue siendo sinónimo de productividad y crecimiento. Por debajo, en 2026 se trabaja sobre todo en guardarraíles. En Berlín, la policía prueba videovigilancia asistida por IA en puntos conflictivos; los defensores de los derechos civiles advierten de sistemas que marcan automáticamente a personas como sospechosas. En las empresas, los directivos temen menos a los chatbots que escriben malos poemas que a los agentes que se abren camino sin ser detectados hacia datos financieros, buzones de clientes o sistemas de producción.

Las herramientas de Turian no son glamurosas. Dashboards, contratos, una minuciosa lista negra para agentes de programación con exceso de celo. Ningún gran escenario. Pero su enfoque sigue una intuición simple: cuanta más autonomía damos al software, más aburridas reglas humanas necesitamos a su alrededor. Solo que las reglas no pueden ser palabras. Tienen que ser muros.

Esta podría ser la verdadera historia de la IA del año 2026. No el próximo gran salto en los modelos, sino la pregunta poco espectacular sobre qué no puede hacer físicamente un agente. La respuesta decidirá si la IA realmente nos ayuda o si solo nos proporciona formas más rápidas y creativas de destrozarlo todo.

Suscríbete para seguir leyendo