the-decoder.com
Los agentes de código fallan en casi tres de cada cuatro tareas reales según un test
Un nuevo estudio de evaluación técnica reveló que los agentes de programación basados en inteligencia artificial aún requieren supervisión humana constante. La prueba denominada Co-Design Bench fue presentada recientemente por Alibaba para evaluar el desempeño real de estos sistemas. En los exámenes prácticos, los asistentes fallaron casi el setenta y cuatro por ciento de las tareas asignadas. El resultado demuestra que las herramientas actuales todavía tropiezan frecuentemente ante peticiones auténticas planteadas por usuarios cotidianos. La evaluación utilizó casos de prueba que anteriormente ya habían causado problemas prácticos a diversos sistemas de desarrollo automatizado. El modelo más destacado en las pruebas fue GPT-6 Astra, el cual logró resolver por completo únicamente el 26,4 por ciento de las tareas. Esta cifra contrasta enormemente con las mediciones previas, ya que los mismos modelos obtenían puntuaciones superiores al 99 por ciento en evaluaciones tradicionales anteriores. Los entornos reales exigen una capacidad de contexto mucho más compleja que los ejercicios de laboratorio sintéticos. La revelación afecta directamente a empresas de software y desarrolladores que dependen de asistentes automatizados para reducir tiempos de trabajo. La necesidad de corregir manualmente casi tres de cada cuatro entregas frena la adopción autónoma plena en entornos de producción crítica. Este análisis obligará a replantear la forma en que la industria tecnológica mide y promociona la fiabilidad de sus modelos comerciales. En el corto plazo, los programadores deberán mantener un papel indispensable de revisión para garantizar la calidad del código generado.