Evaluación de modelos de IA
La evaluación de modelos de IA comprueba si un sistema cumple criterios de calidad y comportamiento en tareas definidas
Qué significa, cómo se usa y en qué contexto aparece, con sus conceptos relacionados.
Qué es y cómo funciona
Utiliza casos de prueba, métricas y revisión humana según el contexto. Debe incluir situaciones frecuentes, difíciles y de fallo. Un buen resultado en un benchmark público no demuestra que el sistema funcione bien con los datos y necesidades de una organización.
También se dice
Evals, evaluación de IA
Preguntas frecuentes sobre Evaluación de modelos de IA
¿Cómo evitar que una buena media oculte fallos graves de un modelo de IA?
Define grupos de casos y consecuencias antes de resumir el resultado. Incluye situaciones frecuentes, excepciones y errores que no pueden aceptarse por su impacto. Una media puede mejorar mientras empeora un grupo pequeño pero importante. La evaluación necesita criterios de aceptación por tipo de tarea y una revisión de ejemplos fallidos. También debe probar el sistema completo, con datos, herramientas y permisos, porque el modelo aislado no representa toda la experiencia.