CRISP-DM Fase V. Evaluación (obtención de resultados)
En este post continuamos la descripción de las fases de la metodología CRISP-DM (Cross Industry Standard Process for Data Mining), tras haber descrito la Fase IV de Modeling o modelado de los datos, a la que sigue esta quinta fase de Evaluation o evaluación de los modelos generados.
Como en toda la serie de posts, la información está resumida de:
Chapman, Pete (NCR); Clinton, Julian (SPSS); Kerber, Randy (NCR); Khabaza, Thomas (SPSS); Reinartz, Thomas (DaimlerChrysler); Shearer, Colin (SPSS); Wirth, Rüdiger (DaimlerChrysler). Step-by-step data mining guide. 2000.
DataPrix. Metodología CRISP-DM para minería de datos. 2007.
CRISP-DM Fase V. Evaluation. Evaluación (obtención de resultados)
La siguiente figura presenta las diferentes tareas que componen esta fase.
Evaluación de los resultados
Este paso evalúa el grado al que el modelo responde a los objetivos de negocio, y determina si hay alguna decisión de negocio que el modelo no cubra. Otra opción de evaluación es probar el modelo sobre escenarios de prueba. La evaluación también verifica otros resultados generados por la minería de datos.
El objetivo es resumir los resultados de evaluación en términos de criterios de éxito de negocio, incluyendo una declaración final estableciendo si el proyecto ha alcanzado los objetivos iniciales de negocio.
Después de la evaluación de modelos en lo que concierne a criterios de éxito de negocio, los modelos generados que cubren los criterios seleccionados son los modelos aprobados.
La checklist para el gestor del proyecto de minería de datos:
- Comprender los resultados de la minería de datos.
- Interpretar los resultados en términos de su aplicación.
- Comprobar los efectos sobre los objetivos de minería de datos.
- Comprobar los resultados de minería de datos contra la base de un conocimiento determinado para ver si la información descubierta es nueva y útil.
- Evaluar y estimar los resultados en lo que respecta a criterios de éxito de negocio (esto es, el proyecto ha alcanzado los objetivos de negocio originales).
- Comparar los resultados de la evaluación y la interpretación.
- Clasificar los resultados en lo que respecta a criterios de éxito de negocio.
- Comprobar el efecto de los resultados sobre el objetivo de la aplicación inicial.
- Determinar si hay nuevos objetivos de negocio para abordar en una evolución del proyecto o en nuevos proyectos.
- Expresar recomendaciones para proyectos futuros de minería de datos.
Revisión del proceso
Después de la anterior tarea, se realiza una revisión más cuidadosa de los compromisos adoptados al inicio del proyecto, para determinar si se ha podido pasar por alto algún factor importante. Lo ideal sería terminar esta tarea con un resumen de la revisión del proceso, que destacara las actividades que se han omitido y las que deberían repetirse.
La checklist:
- Proporcionar una descripción del proceso de minería de datos usado.
- Analizar el proceso de minería de datos. Preguntar para cada etapa del proceso: ¿esto fue necesario? ¿se ejecutó de forma óptima? ¿cómo podría ser mejorado?
- Identificar fracasos.
- Identificar desviaciones.
- Identificar acciones alternativas posibles y/o caminos inesperados en el proceso.
- Revisar resultados de minería de datos en lo que concierne a criterios de éxito de negocio.
Determinación de los próximos pasos
El equipo decide si hay que tomar medidas sobre el desarrollo (iniciar más iteraciones, o terminar el proyecto). Esta tarea incluye los análisis de los recursos restantes y del presupuesto. Al final de esta tarea debería existir una lista con las acciones futuras potenciales, con los motivos a favor y en contra de cada opción, así como una decisión en cuanto a cómo proceder, junto con una justificación.
La checklist:
- Analizar el potencial para el desarrollo de cada resultado.
- Estimar el potencial para la mejora del proceso actual.
- Comprobar los recursos restantes para determinar si permiten iteraciones de proceso adicionales (o si hay disponibles recursos adicionales).
- Recomendación de continuar con las alternativas.
- Refinar el plan de proceso.
- Clasificar las acciones posibles, seleccionar una de las acciones posibles, documentar las razones para la elección.
Con esta tarea concluye la Fase V, Evaluation, de obtención de resultados y evaluación. En un siguiente y último post abordaremos la Fase VI, Deployment o despliegue (puesta en producción).
Nuestro equipo de profesionales puede abordar proyectos de Data Analytics en cualquier escenario complejo con las máximas garantías de éxito, aplicando la metodología CRISP-DM. Si tiene cualquier pregunta o necesidad en estas áreas, por favor, no dude en contactar con nosotros, que estaremos encantados de ayudarle.
