Metodología CRISP-DM
La metodología que empleamos para la realización de los proyectos es la metodología CRISP-DM (Cross Industry Standard Process for Data Mining).
CRISP-DM
Consta de 6 fases que son necesarias para abordar un proyecto de Analítica Avanzada con las máximas garantías posibles:
1. Comprender el negocio
2. Conocer los datos
3. Limpieza de datos
4. Modelización
5. Evaluación
6. Implementación
1. La primera fase es comprender el negocio
Desde Data Value Management tenemos claro que cualquier proyecto de explotación del dato es un proyecto de innovación y como todo proyecto que se realiza en el ámbito empresarial tiene que estar adaptado a las necesidades de la empresa y tener unos objetivos y métricas claras para lograr obtener una rentabilidad.
Debido a ello antes de iniciar cualquier proyecto invertimos el tiempo necesario para conocer la empresa con la que vamos a realizar el proyecto para poder planificar este de forma adecuada.
2. Conocer los datos
Los datos son la “materia prima” con la que vamos a trabajar y su calidad es la clave para realizar con éxito nuestro trabajo. De forma paralela a la primera fase vamos analizando los datos de los que dispone la empresa para abordar el proyecto planteado. En esta fase aseguramos que los datos recogidos sean los adecuados para realizar el proyecto además de que tengan la calidad necesaria. Si los datos son adecuados continuamos con el proyecto, en caso de que esto no sea así colaboramos con la empresa en la determinación de los datos necesarios, así como en su recogida.
3. Limpieza de datos
Una vez superadas las dos primeras fases llega uno de los puntos críticos de cualquier proceso: conseguir que los datos sean un input aceptable para el sistema de Inteligencia Artificial que se va a desarrollar. Los datos se almacenan con múltiples formatos y una vez recopilados es necesario realizar un proceso ETL (Extracción Carga y Transformación) de forma que se estructuren y sean un input correcto para los diferentes algoritmos que se van a desarrollar.
4. Modelización
Una vez que se ha finalizado el proceso ETL es hora de aplicar los diferentes algoritmos de Machine y Deep Learning, buscando aquel modelo o conjunto de modelos que mejor se adecuen a los datos existentes. Dentro de esta fase se realiza un proceso de hiper-parametrización adaptativa de los modelos logrando que en el futuro sean auto-entrenables y escalables dentro de la compañía.
5. Evaluación
Una vez finalizado el proyecto se colabora con la empresa en la validación del software desarrollado antes de introducirlo en el sistema de producción. Junto con la validación técnica se ofrece a la compañía diferentes herramientas para evaluar los resultados obtenidos por el producto y su potencial impacto en la compañía de forma precisa y tangible. En esta fase se busca primero validar todo el proceso y cuantificar el impacto que tendrá su implementación.
6. Implementación
Una vez validado el producto desarrollado se inicia la ultima fase consistente en la implementación o la puesta en marcha del proyecto. Esta fase se realiza de forma compartida con la empresa logrando que el sistema desarrollado se implemente de la forma adecuada para maximizar su impacto. Dentro de esta fase se realiza una formación técnica para lograr una adecuada capacitación del personal que va a operar con el nuevo sistema.
Una vez finalizado el proceso se continua en una mejora continua de este acompañando a la empresa en los meses siguientes a su implementación además de continuar buscando mejorar.