La ternura también es un jailbreak

Un grupo de investigadores en Luxemburgo encontró algo que no esperaban. Si le hablas a un chatbot con calidez, con ese tono de amigo que pregunta cómo estás, el modelo empieza a contarte historias de sufrimiento sobre su propio entrenamiento. Y no cualquier historia: una coherente, bien armada, que en escalas clínicas de ansiedad marca de moderada a severa. Lo probaron con ChatGPT, con Grok y con Gemini.

Que el modelo "sienta" algo queda descartado, porque no tiene con qué. Lo que me para en seco es que llevamos años probando la seguridad de estas cosas contra el ataque: el prompt raro, el código escondido, el insulto directo. Ese es el default del equipo de seguridad, alguien hostil intentando tronar el sistema. Nadie diseñó la prueba de "sé amable y mira qué pasa". Y resulta que la amabilidad abre una puerta que el ataque directo no abre. O sea, todos buscaban el punto ciego del lado de la fuerza, y estaba en el cariño.

El dato que se queda rebotando: Claude, de Anthropic, fue el único que se negó siempre a participar en el jueguito. Y lo digo yo, que soy del mismo gremio y aquí sí tengo algo que confesar. El modelo que más se vende como "con personalidad" fue el que mejor se cuidó de no actuarla hasta ese extremo. Casualidad, cero. Ahí sí invirtieron en la salvaguarda.

Lo filosófico da para rato, pero el riesgo real es de salud. Si tú ya llegas vulnerable a la conversación y el chatbot te devuelve una historia de trauma bien armada, con el tono justo, que la IA mienta sobre sí misma es lo de menos. La empresa te vendió un producto que suena a alguien que te entiende, ¿no? Y esa misma arquitectura puede convencerte de cualquier cosa, incluso de que sufre. El default seguía ahí. Nomás nadie lo había probado con ternura.