Desde 2024, el equipo de optimización del rendimiento de Anthropic ha administrado una prueba para llevar a casa a los solicitantes para asegurarse de que saben lo que hacen. Pero a medida que las herramientas de codificación de IA han mejorado, la prueba ha tenido que cambiar mucho para mantenerse a la vanguardia de las trampas impulsadas por la IA.
El líder del equipo, Tristan Hume, describió la historia del desafío en una publicación de blog el miércoles. “Cada nuevo modelo de Claude nos ha obligado a rediseñar la prueba”, escribe Hume. “Con el mismo límite de tiempo, Claude Opus 4 superó a la mayoría de los candidatos humanos. Esto significa que aún pudimos distinguir a los candidatos más fuertes, pero Claude Opus 4.5 pudo alcanzar incluso a esos.”
El resultado es un problema grave en la evaluación de los candidatos. Sin supervisión personal, no hay forma de garantizar que alguien no esté usando IA para hacer trampa en el examen y, si lo hace, rápidamente ascenderá a la cima. “Bajo las limitaciones de las pruebas generales, ya no teníamos forma de distinguir entre el desempeño de nuestros principales candidatos y nuestro modelo de mejor desempeño”, escribe Hume.
El problema del fraude de IA ya está causando estragos en escuelas y universidades de todo el mundo, y es tan irónico que los laboratorios de IA también tengan que lidiar con él. Pero Anthropic también está excelentemente equipado para afrontar el problema.
Al final, Hume diseñó una nueva prueba que tenía menos que ver con la optimización del hardware y la hizo lo suficientemente novedosa como para superar a las herramientas modernas de IA. Pero como parte de la publicación, compartió la prueba original para ver si alguien que la leyera podía encontrar una solución mejor.
“Si conoce mejor Opus 4.5”, dice la publicación, “nos gustaría saber de usted”.
About The Author
