![Page 1: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/1.jpg)
Segmentación de secuencias de video en tiempo real utilizando
una WebCam
V Taller de Procesamiento de Imágenes (PI 2008)
Presenta: Francisco Javier Hernández López
Asesor: Dr. Mariano José Juan Rivera Meraz
CIMAT, Agosto/2008
![Page 2: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/2.jpg)
Problema
• Dado una secuencia de imágenes de video, segmentar el Primer Plano (Foreground) del Fondo (Background).
Secuencia de Video Nuevo Fondo
Ilustramos nuestros resultados mediante la sustitución del fondo.
![Page 3: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/3.jpg)
Problema
Espacio Caso I Caso II Caso III Caso IV
Primer
Plano
Móvil Móvil Estático Estático
Fondo Estático Móvil Móvil Estático
• Podemos observar que existen diferentes casos que se pueden presentar durante la secuencia de video:
Tabla 1. Casos del Problema
![Page 4: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/4.jpg)
Utilización
• Videoconferencia
• Video vigilancia
![Page 5: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/5.jpg)
Propuesta
WebCam
Tomamos N imágenes y calculamos μ(x)
Leemos la siguiente imagen IS(x)
Calculamos Verosimilitudde ser Fondo VB
Segmentamos con QMPFy sustituimos el Fondo.
![Page 6: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/6.jpg)
Propuesta• Verosimilitud de ser Fondo xVB
2
2 )(2
1exp
)(2
1xxI
xxxV SB
Inicialmente probamos con una distribución gaussiana:
(1) 2exp xxIxV SB
Dado que el video es adquirido a través de un formato MPG4 (comprimido), la estimación de la varianza no es robusta, por lo que usamos simplemente:
Distribución Gaussiana Distribución Exponencial
![Page 7: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/7.jpg)
Propuesta• Segmentación con el método QMPF.
,),()()()()(1)()(2
1)(
,
222
x yx
BF yxWyPxPxdxPxdxPxPU
. )()(
,
, )(log
, )(1log
2yIxI
yxW
xVxd
xVxd
SS
BB
BF
Siguiendo el método QMPF tenemos el siguiente funcional:
(2)
donde:
Resolviendo (2) para P(x) tenemos:
yxBF
yxB
yxWxdxd
yxWyPxd
xP
,
,
),()()(
),()()(
)(
Utilizando Gauss - SeidelCon )(1)(0 xVxP B
![Page 8: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/8.jpg)
Propuesta• Sustitución del Fondo
• Si P(x)>Umbral entonces
• de lo contrario xIxI SSEG 2
xFNxI SEG
Donde: Umbral=0.5
• Al realizar los experimentos observamos los siguientes problemas:
Cambio de Intensidad en la escena.
Semejanza del color
Modificación de la Intensidad
Corrección de semejanzadel color
![Page 9: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/9.jpg)
Propuesta
• Modificación de la intensidad
• restringida al área donde estamos seguros que es fondo, donde
xIxxDiv s/ UmbralxantP _
• Calculamos μRGB de los elementos de Div(x).
RGBSS xIxI •
• Finalmente calculamos la verosimilitud de ser fondo con la ecuación (1).
![Page 10: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/10.jpg)
Propuesta
• Corrección de semejanza del color
• Calculamos el Flujo Óptico, obtenemos d(x).
• Si UmbralxVUmbralxdxantP B AND )(_
)(_12 xdxantPxVB
• de lo contrario
xVxV BB 2
• Finalmente
xVxV BB 2
![Page 11: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/11.jpg)
Propuesta
Diagrama de Flujo Principal del Método
N imágenes I(x),FN(x),
IS2 (x) IS (x)
Ban ≤ C Ban Ban+1
Calculamos VB (x)
Segmentación con QMPF,Obtenemos P(x)
P_ant(x) P(x)
Cambiamos FondoISEG (x)
SiCon P_ant(x)
Calculamos Div(x)Calculamos µR GB IS (x) IS (x) µR GB
Calculamos VB (x)
Calculamos F.O.Calculamos VB2 (x)VB (x) VB2 (x)
Ban 0Calculamos µ(x)
Siguiente imagen IS (x)
No
1ra. Parte
2da. Parte
3ra. Parte
![Page 12: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/12.jpg)
ExperimentosMétodo Propuesto
Método de Creative
![Page 13: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/13.jpg)
Conclusión
Hemos presentado un método que sustituye automáticamente el fondo de una secuencia de video en tiempo real, y que además como vimos en los experimentos, es robusto a cambios de iluminación y semejanza entre el color del fondo y lo que se está moviendo.
![Page 14: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/14.jpg)
Trabajo a Futuro
Como trabajo a futuro queremos resolver también los casos II y III (Tabla 1) del problema general, aquí necesitamos que el método tenga conocimiento de profundidad en la escena, para esto hemos pensado en colocar otra WebCam para formar un par stereo.
![Page 15: Segmentación de secuencias de video en tiempo real utilizando una WebCam](https://reader035.vdocuments.us/reader035/viewer/2022062723/56813fed550346895daaefbf/html5/thumbnails/15.jpg)
Preguntas …