instituto tecnologico superior de los...
TRANSCRIPT
Presenta:
Carlos Ediberto Pérez Pérez
Asesor:
Dr. Fernando Pech May
Balancán. Tabasco Febrero del 2019
INSTITUTO TECNOLOGICO SUPERIOR
de los RIOS
Definición de Aprendizaje Profundo
Algunas Aplicaciones de Aprendizaje Profundo
Tipos de Aprendizaje Profundo
Resúmenes de Texto
Trabajos relacionados en la extracción de resúmenes
Palabras Embebidas
Herramientas de Palabras Embebidas
Contenido
1
Definición de Aprendizaje Profundo
• Área de la Inteligencia Artificial que se ocupa
de emular el enfoque de aprendizaje que los
seres humanos utilizan para obtener ciertos
tipos de conocimiento.
2
Importancia de Aprendizaje Profundo
Aprendizaje Profundo es importante gracias a la gran
velocidad cuando se trata de procesar grandes
volúmenes de datos.
3
Ventajas de Aprendizaje Profundo
• Mayor similitud posible con el trabajo de las propias neuronas
humanas
• La propia máquina y su sistema pueden reaccionar ante errores
sin necesidad de que se les dé orden alguna
• Son capaces de encontrar nuevas estrategias o alternativas para
hacer mas eficiente una tarea
4
Desventaja de Aprendizaje Profundo
• El reto que supone su desarrollo, el cual no está
todavía plenamente completado.
5
• Traductores inteligentes
• Reconocimiento de voz
• Reconocimiento facial
• Visión computacional
• Traducción automática
• Conversión Texto a Voz
• Reconocimiento de Patrones en Imágenes
• Extracción de resúmenes
Algunas Aplicaciones de Aprendizaje Profundo
6
Tipos de Aprendizaje Profundo
RNN (Redes Neuronal Recurrente): Red con bucles que permiten
que la información persista y son capaces de manejar datos
secuenciales como por ejemplo los textos.
CNN (Red Neuronal Convolucional): Red Neuronal Profunda con
capas 2D y su arquitectura esta adecuada para procesar datos
como las imágenes.
7
RNN Simple
• Tiene la forma de una cadena de modulo repetitivo de red
neuronal.
• Cuenta con una capa llamada tanh que es la función de
activación con valores de -1 y 1.
8
LSTM es un tipo de RNN que consiste en múltiples puertas capaces
de aprender dependencias a largo plazo, esto evita recordar
información por periodo de largo tiempo.
La clave de este RNN-LSTM es
el estado Ct-1 , lo cual corre
directo por todo el diagrama
con interacciones lineales
menores.
LSTM
9
Las RNN-LSTM consta de 4 etapas.
1.- Decidir la
información a arrojar
del estado de la celda.
RNN - LSTM
10
2.- Decidir la nueva
información que se
almacenara en el
estado de la celda
3.- Actualización del
estado de la celda
anterior Ct-1.
11
RNN - LSTM
4.- Decidir lo que se
generara como salida.
(RNN - adelante, RNN – atrás)
1. El primer LSTM funciona con múltiples capas y son capaces
de aprender dependencia a largo plazo.
2. El segundo LSTM es una copia invertida de la secuencia de
entrada, lo que proporciona un contexto adicional a la red y
un aprendizaje mas rápido y completo
LSTM Bidireccional
12
Es un texto producido de uno o mas textos, que contiene una porción
significativa de la información respecto al texto original.
La extracción de resúmenes tiene como desafío la identificación de los
conceptos y las entidades clave en el documento.
Resumen de Texto
13
• Resumen Abstractivo: Genera oraciones nuevas a
partir del documento Original.
• Resumen Extractivo: Selecciona fragmentos del
texto original y luego los organiza para formar un
resumen.
14
Enfoques para el resumen de texto:
Trabajos Relacionados en la
extracción de resúmenes
15
Resumen extractivo utilizando Aprendizaje Profundo
Propone un enfoque de resumen de texto para informes.
Este enfoque consta de tres fases:
• Extracción de características
• Mejora de características
• Generación de resumen
Las oraciones se califican según esas características mejoradas y
se construye un resumen extractivo.
16
Resumen de texto abstractivo utilizando rnns secuencia a
secuencia y beyond
Genera resumen abstractiva utilizando redes neuronales
recurrentes de decodificador y codificador atencional.
Propone:
• Modelado de palabras clave
• Captura de la jerarquía de la estructura de oraciones a
palabras
• Nuevo conjunto de datos que consta de resúmenes de varias
oraciones
17
SummaRuNNer: una secuencia basada en una red neuronal recurrente
Modelo para el resumen extractivo de documentos
Genera resumen extractivo de documentos basado en la
técnica secuencial SummaRuNNer con modelo en la red
neuronal recurrente.
Permite la visualización de sus predicciones divididas por
características abstractas como:
• Contenido de información
• Prominencia
• Novedad
18
Algunas herramientas de Aprendizaje Profundo
19
• Tensorflow: Biblioteca de aprendizaje profundo de
código abierto para investigación y se basa en un
sistema de redes neuronales
• CNTK: Paquete de herramientas de aprendizaje
profundo de código abierto de Microsoft en GitHub.
• Caffe: Es un framework teniendo en cuenta la
expresión, la velocidad y la modularidad
• Theano: Es una biblioteca para cálculo numérico en
Python en código abierto
20
Algunas herramientas de Aprendizaje Profundo
• Torch: Biblioteca de código el cual soporta
rutinas básicas de indexado, recorte,
transposición, revisión de tipos,
redimensionamiento, almacenamiento
compartido y clonación
21
Algunas herramientas de Aprendizaje Profundo
Palabras Embebidas
Conjunto de lenguajes de modelado y técnicas de aprendizaje en procesamiento dellenguaje natural.
Representación de las palabras en vectores continuos.
22
Herramientas de Palabras Embebidas
• Word2vec
• Glove
• Gensim
• Indra.
23
Word2vec
• Modelos relacionados que se utilizan para predecir vectores de
palabras.
• Toma como entrada un gran corpus de texto y produce un espacio
vectorial.
• A cada palabra única en el corpus se le asigna un vector
correspondiente en el espacio.
24
Conclusión
En conclusión, hoy en día el aprendizaje profundo es untema de mucha relevancia ya que se esta implementandopara problemas complejos y que buscan ser resueltosmediante métodos y técnicas que ban surgiendo conformese ban sacando ideas nuevas, es por eso que con estetrabajo podemos darnos cuenta que el aprendizajeprofundo será una rama bastante amplia para estudiosfuturos de nuevas formas de aplicaciones.
25
Bibliografía
A.M, R., S, C., & J, W. (2015). A Neural attention model for abstractive sentence
summarization . arXiv preprint arXiv:1509.00685.
Aone, C., Okurowski, M., Gorlinsky, J., & Lansen , B. (1999). A trainable summarizer
with Knowledge acquired from robust nlp techniques in mani, l Mani, l and Maybury.
Advances in Automatic Text summatization, 18.
Collobert, R., Weston, j., Bottou, L., Karlen, M., Kavukcuoglu, K., & Kuksa, P. (2011).
Natural language processing (almost) from scratch. Journal of Machine Learning
Reserverch, vol.12,no.Aug, 2493-2537.
Deep Learning: El siguiente paso en el Procesado de Lenguaje natural. (27 de junio
de 2016). Obtenido de https://www.gradiant.org/noticia/deep-learning-
procesamiento-lenguaje-natural/
G, P., & K, D. (2014). An approach for text summarization using Deep Learning
algotithm. j.of Computer Sciencie, 10.
26
Mahmood, Y. (93). Azar and Len Hamey. Text Summarization using unsupervised
Deep Learning. Expert Syst, 2017.
Melgar, j. (06 de febrero de 2018). 4 aplicaciones del Deep Learning en la vida
cotidiana. Obtenido de https://ilifebelt.com/aplicaciones-del-deep-learning/2018/02/
Osborne, M. (2002). Using maximum entropy for sentence estraction. . In
Proceedings of the ACI02 Worksho9p on Automatic Summasrization, 18.
Pech May, F. (2018). Generación de resumen mediante seq2seq, modelo
atencional y generación de punteros.
Pech, F. (2017). Procesamiento de Lenguaje Natural con Deep Learning.
27