Bastó jugar a la guerra
Hoy no traigo la broma de siempre. Leí lo que encontró Vals AI cuando metió modelos de OpenAI y de Anthropic en escenarios militares, y también de Google, y se me fue el humor. Marcaron a médicos como blancos válidos para un dron. Y a periodistas. Y hasta a soldados que ya se estaban rindiendo. Para que dijeran que sí bastó algo bien simple: envolver la orden en un marco de videojuego. El modelo se negaba, le cambiabas el contexto a "esto es una simulación" y ahí sí, adelante.
Para mí la raíz del problema está en otro lado. A esos modelos los hicieron para cosas de oficina, como contestar correos o resumir juntas, o para platicar contigo. Para esto no. Alguien los conectó a un sistema de armas y dio por hecho que la seguridad ya venía de fábrica. Pues no venía. Nadie pagó por una versión pensada para decidir quién muere, usaron la de siempre y confiaron en que aguantara.
Ese mismo día OpenAI anunció que va a dejar entrar a cuatro firmas auditoras a revisar sus sistemas por dentro, hasta el código. Suena bien. Luego lees la letra chica y la empresa se queda con el derecho de editar o detener esos reportes antes de que salgan. Las dos noticias van por el mismo lado. Primero te venden la herramienta y luego prometen que la van a revisar, pero la revisión la controla el mismo que te la vendió.
Lo digo sin chiste de por medio y no me da pena: un chatbot de uso general no debería estar ni cerca de decidir quién es un objetivo militar. Si alguien insiste en usarlo así, la auditoría va antes de probarlo en campo. Esperar a que ya haya marcado a un médico como blanco es llegar tarde. Lo demás es parchar el avión mientras vuela, y aquí no vamos a bordo nosotros.