la práctica de machine learning en la empresa

La práctica de Machine Learningen la Empresa

Emilio Osorio GarcíaChief Technology OfficerPredictive Technologies

minoru@predictivecorp.com

Dr. Manuel Reyez GomezChief Data ScientistPredictive Technologiesmanuel@predictivecorp.com

Manuel Reyes / manuel@predictivecorp.com SGCE 2014 Emilio Osorio / minoru@predictivecorp.com

¿Qué imaginábamos hace 30 años?

El presente...

* Traducción Liberal

“Las mejores mentes de mi generación están pensando en como hacer que la gente haga

click en un anuncio. Eso no esta chido”*

-Jeff Hammerback Cofundador de Cloudera

¿Donde estaremos en 30 años?

El estado del arte

• No existen soluciones que sean “llave en mano”

• Los datos estructurados crecen exponencialmente

• Se requiere investigación de los problemas específicos de negocio

• Baja utilización de los sistemas analíticos existentes

• Lidiar con el cambio constante en los datos

Que es “Machine Learning”• Es una rama de la Inteligencia artificial• Aprender de los datos• Descubrir, codificar y modelar patrones encontrados

en los datos (historicos) que después permitan estimar variables desconocidas, mediante el uso del contexto

• Representación de los datos (Arte)• Modelo probabilístico

• Genéricos: Neural Networks, SVMs, Decision Trees, etc• A la medida usando la infraestructura de modelos gráficos

“Graphical Models Framework”

Detección de fuentes de sonido

FRECUENCIA

Prediciendo usando el contexto

Usando el modelo para hallar anomalías

Puntos donde los datos no siguen el modelo

Bing Local

Recomendación de Películas

? ? ? ?

Caracterización de Variables

Es Romántica : (0,1)Es infantil: [0,1]Es animada: (0,1)Tiene director famoso: (0,1)Tiene actores famosos: (0,1)Grado de violencia: (0,1,2,3,4,5)Edad promedio de actores: (Continua)Año de publicación: (Discreta)…..…..…..

Clasificación : (0,1,2,3,4,5) y

Estimación del modelo

X1 = [0, 1, 0, 1, 0, 3, 23.6, 1981]; y1 = 3 X2 = [1, 1, 0, 1, 1, 4, 43.3, 2013]; y2 = 5 X3 = [0, 1, 1, 1, 1, 5, 14.4, 1999]; y3 = 2 X4 = [1, 1, 1, 1, 0, 4, 35.3, 1954]; y4 = 3 X5 = [0, 1, 0, 1, 0, 3, 23.6, 2001]; y5 = 3X6 = [0, 1, 0, 1, 0, 3, 23.6, 2001]; y6 = 1….

f(W,X) = y’

w0+w1x1+w2x2+w3x3+…= y’

Estimar el modelo consiste en estimar W usando los valores de los ejemplos Xi, yi de tal manera que minimice:

∑𝑖=1

(𝑦 ′ 𝑖❑−𝑦 𝑖)

2=¿∑𝑖=1

( 𝑓 (𝑊 , 𝑋 𝑖❑)− 𝑦 𝑖)

En producción• Para nuevos elementos y sus representaciones X, se

estima sus y’ usando el modelo estimado

w0+w1x1+w2x2+w3x3+…= y’

y’ =

Otras soluciones• Estimación de riesgo crediticio

• Estimación optima de abasto de suministros

• Estimación de probabilidad de perdida del cliente

• Estimación optima de cantidades de mercancía por tipo y locación (datos no estructurados)

• Selección automática de mejores candidatos para puestos disponibles

No se necesita descubrir el hilo negro

• Modelos genéricos accesibles en el mercado• Lineal Regression• Neural Networks• Logistic Regression• Support Vector Machines• Decision Trees

• Software Libre– R Studio– Mahout– Weka– MLib

• Software Licenciado– Oracle Data Mining– SAS Advance Analytics– IBM Predictive Analytics– Matlab

60% Arte – 40% Ciencia• Representación (Arte)

• Representación que generalice correctamente• Representación que induzca transferencia• Limpieza de datos• Normalización de valores • Ajustar representación a las limitaciones del modelo

• Fecha de Publicación: Decision Tree-> Continua • Logistic Regression: discretizada binaria. [1985-1990]

• Ciencia• Selección o diseño del modelo• Prevención de “overfitting”• Regularización de parámetros• Análisis de errores (experto de dominio)• Estar consciente de las limitaciones del modelo

Modelos genéricos vs. a la medida

• Modelos genéricos

• Modelos a la medida

Informacióndel

sistema Modelo

Información del sistema se debe transformar/adaptar al modelo

Informacióndel

sistema ModeloModelo

Modelo se diseña dada la Información del sistema

Modelos genéricos vs. a la medida

• Modelos genéricos• Pros

• Sus propiedades y características han sido ampliamente estudiadas• Muchas implementaciones optimas disponibles • Fáciles de entrenar y probar

• Cons• La información del sistema requiere de un proceso adecuado de los

valores en sus variables para ajustarlas a las predisposiciones y limitaciones de cada modelo

• Tienen Limitaciones, al ser genéricos no son los suficientemente ricos para modelar sistemas complejos

• No son apropiadas para problemas con mas de una variable de salida que interactúan entre si

Modelos genéricos vs. a la medida• Modelos a la medida

• Pros• Como se diseñan para modelar el sistema sin las limitaciones de los

modelos genéricos tienen mejor desempeño• Se pueden patentar• Dan ventajas competitivas• Apropiados para sistemas donde se requiere estimar varias variables

de salida que interactúan entre si. (Predicción de Trafico)

• Cons• Requieren diseño especializado por lo tanto las soluciones son mas

caras que cuando usando modelos genéricos • Soluciones • Soluciones basadas en modelos a la medida requieren mas testeo

que las basadas en modelos genéricos• Soluciones requieren mas tiempo de implementación

Pasos para implementar en relación al

data scientist

• Fase 1• Análisis de factibilidad en datos históricos disponibles.

Determinar si se tienen suficientes y diversos datos que cubran las diferentes condiciones del sistema

• Fase 2 con modelos genéricos• Diseño e implementación de la representación de variables• Selección del modelo• Estimación del modelo (con regularización y “tunning” para

evitar “overfitting”)• Análisis de errores• Recalibración del modelo

Machine Learning como Práctica

• En esencia es investigación y desarrollo

• El reto es como crear una práctica que tenga resultados de negocio

• ¿Como operacionalizar la inteligencia artificial?

Las fases de la metodología CRISP-DM

Lean Machine Learning

• Eliminar el derroche • Construir con Calidad

Incluida • Respetar a las Personas • Crear conocimiento • Diferir los compromisos • Entregar Rápido • Optimizar el Todo

Los roles de equipo en Machine Learning

• Business Product Owner • Business Domain Expert • Data Scientist • Data Analyst • Machine Learning

Engineer • Data Engineer

Nuevas habilidades requeridas

• Formulación correcta de problemas • Cultura de Prototipaje • Intuición para tomar realizar asunciones a

problemas no muy bien definidos • Diseñar experimentos para probar hipótesis • Analizar resultados y plantear mejoras

continuamente

Tecnología: Software Libre para aprender

Tecnología: Proveedores para escalar

Preguntas y Respuestas

Emilio Osorio GarcíaChief Technology OfficerPredictive Technologies

minoru@predictivecorp.com

Dr. Manuel Reyez GomezChief Data ScientistPredictive Technologiesmanuel@predictivecorp.com

la práctica de machine learning en la empresa

manuel reyes

los datos descubrir

modelo x1

cambio constante en

y estimar

machine learning en

modelo prevencin

modelo fecha

Software

estrategias de comunicación aplicadas a la empresa cultural...

la estructura organizacional. aplicaciÓn prÁctica a la

la fenomenología en la práctica psicoterapéutica: una...

transformando la prÁctica docente.pdf

curso online de construction management...para disponer de...

transformando la práctica docente

prÁctica de la enfermera segÚn la teorÍa …

la empresa - empresa electrica centro sur

la fenomenología en la práctica psicoterapéutica:...

bazdresch m.transformar la práctica

"la práctica del buen marketing"

la práctica y la hipotesis de progresión

la web de la empresa 2.0 - guía práctica para atraer...

mindfulness y la práctica clinica

prÁctica civil especializada (6 ects). prÁctica … ·...

la prÁctica de la meditaciÓn y la atenciÓn plena: …

diario de la segunda práctica

la empresa matrimonial

la empresa la empresa - tabiques de barro, ladrillo de

la práctica de machine learning en la empresa