Separando la señal del ruido en las evaluaciones de codificación
OpenAI
OpenAI identifica fallos significativos en el benchmark de codificación SWE-Bench Pro, estimando que cerca del 30% de sus tareas no son fiables.Resumen
OpenAI realizó una auditoría del benchmark de codificación SWE-Bench Pro para garantizar que las capacidades de sus modelos se midan con precisión. Mediante una combinación de análisis automatizado y revisiones por parte de ingenieros de software, se descubrió que aproximadamente el 30% de las tareas son defectuosas debido a pruebas demasiado estrictas, instrucciones imprecisas o requisitos contradictorios. Como resultado, OpenAI ha retirado su recomendación de usar SWE-Bench Pro, destacando la necesidad crítica de contar con puntos de referencia más rigurosos y mejor curados para evaluar las capacidades de los modelos de forma auténtica.
(Fuente：OpenAI)