Perplejidad e inteligencia
Resumen
El artículo sostiene que el desarrollo moderno de la IA depende fundamentalmente del entrenamiento de compresores (modelos) a gran escala sobre conjuntos de datos masivos, con la perplejidad (o pérdida de entropía cruzada) como métrica clave para medir el progreso en este "sustrato de inteligencia". El autor traza cómo la disminución de la perplejidad se ha correlacionado con capacidades emergentes: GPT-2 (párrafos coherentes), GPT-3 (aprendizaje en contexto), GPT-3.5 (conversación fluida), GPT-4 (razonamiento de cadena de pensamiento), y modelos más recientes con perplejidad logarítmica por debajo de 0.8 que muestran habilidades transformadoras en ciberseguridad y matemáticas. El artículo enfatiza que estas capacidades no eran predecibles a priori solo a partir de umbrales de perplejidad. El autor propone que los desarrolladores de modelos frontera establezcan normas compartidas para evaluar modelos y casos de seguridad de red-team, incluidos estándares de transparencia y límites comunes de desarrollo medidos por perplejidad y otras métricas. Estos límites se mantendrían hasta que se alcancen hitos concretos en la comprensión y monitoreo del comportamiento de la IA, como un sucesor de los monitores de cadena de pensamiento. El artículo reconoce los desafíos de la perplejidad como métrica compartida —dificultad de comparación entre laboratorios debido a diferentes conjuntos de datos, desvinculación de evaluaciones prácticas, no tener en cuenta avances fuera del preentrenamiento (por ejemplo, razonamiento de cadena de pensamiento), y un piso desconocido— pero mantiene que la perplejidad ha resistido la prueba del tiempo y puede desempeñar un papel importante en la estandarización de las discusiones sobre el progreso de la IA.
(Fuente:OpenAI)