animación facial - dan...

39
Animación facial Dan Casas

Upload: others

Post on 23-Jul-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facial

Dan Casas

Page 2: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialFACS.

Page 3: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialFACS. Codificación facial. FACS : Facial Action Coding System supone dividir toda expresión facial en un conjunto de movimientos faciales básicos llamados Action Units, de manera que cuando se combinan crean una expresión facial.

Cada componente observable de movimiento facial se denomina Unidad de Acción o AU.

Todas las expresiones faciales se pueden desglosar en su constituyente UA.

FACS es una herramienta de investigación útil para medir cualquier expresión facial que un ser humano puede hacer.

Page 4: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialFACS.

Page 5: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialFACS.

Page 6: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales
Page 7: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales
Page 8: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialFACS. Codificacion facial.

Se identifican 46 AU.

Combinaciones originales de AU producen una variedad grande de expresiones faciales creíbles. También expresiones-tipo.

Por ejemplo, AU 23 es "Labio Estirado"; AU 19 es "Lengua fuera". El problema es que hablamos de combinaciones fijas, y no todo lo deseado por el animador. Además no incluyen “hablar”.

Page 9: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

w1 w2 w3 wn

Page 10: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

w1 w2 w3 wn

Page 11: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

w1 w2 w3 wn

Page 12: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

w1 w2 w3 wn

vectorizamos malla

Page 13: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

w1 w2 w3 wn

Representación matricial

Page 14: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

w1 w2 w3 wn

Representación matricial

Page 15: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

• Combinación base de expresiones faciales • Interpolación lineal

Problema: es una transformación global, fíjate qué pasa si hacemos esto:

+ +w1 w2 w3f =

Page 16: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

• Combinación base de expresiones faciales • Interpolación lineal

Problema: es una transformación global, fíjate qué pasa si hacemos esto:

+ +0.33 0.33 0.33f =

Page 17: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

• Combinación base de expresiones faciales • Interpolación lineal

Problema: es una transformación global, fíjate qué pasa si hacemos esto:

+ +f = = 0.33 0.33 0.33

Page 18: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

• Combinación base de expresiones faciales • Interpolación lineal

Problema: es una transformación global, fíjate qué pasa si hacemos esto:

+ +f = = 0.33 0.33 0.33

El extremo del labio no sube

Page 19: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

• Combinación base de expresiones faciales • Interpolación lineal

Problema: es una transformación global, fíjate qué pasa si hacemos esto:

Page 20: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

• Combinación base de expresiones faciales • Interpolación lineal

Problema: es una transformación global, fíjate qué pasa si hacemos esto:

Page 21: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facialBlendshapes

• Combinación base de expresiones faciales • Interpolación lineal

Problema: es una transformación global, fíjate qué pasa si hacemos esto:

Estamos escalando la malla globalmente!

Page 22: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facial

Solución: Delta blendshape formulation

• Una expresión es designada la neutral • El resto de bases son la diferencia entre cada una de las

otras expresiones y la expresión neutral

Page 23: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facial

Solución: Delta blendshape formulation

• Una expresión es designada la neutral • El resto de bases son la diferencia entre cada una de las

otras expresiones y la expresión neutral • Esto permite aplicar sólamente deformaciones locales • También permite exagerar expresiones cuando

expresión neutral delta entre neutral b0 y expression bk

wk >1

Page 24: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animación facial

Solución: Delta blendshape formulation

• Una expresión es designada la neutral • El resto de bases son la diferencia entre cada una de las

otras expresiones y la expresión neutral • Esto permite aplicar sólamente deformaciones locales • También permite exagerar expresiones cuando • Maya y Blender utilizan esta técnica

expresión neutral delta entre neutral b0 y expression bk

wk >1

Page 25: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=KPDfMpuK2fQ

Page 26: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=KPDfMpuK2fQ

Page 27: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=8qeOFibRmooSnappers Facial Rig

Page 28: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=8qeOFibRmooSnappers Facial Rig

Page 29: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Facial MoCap

https://www.youtube.com/watch?v=NooE3E6Dsh8

Page 30: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Facial MoCap

https://www.youtube.com/watch?v=NooE3E6Dsh8

Page 31: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=nI_wONZ47EU

Facial MoCap

Page 32: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=nI_wONZ47EU

Facial MoCap

Page 33: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=lezfSnO9n5g

Page 34: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

https://www.youtube.com/watch?v=lezfSnO9n5g

Page 35: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animojis by Apple

https://www.youtube.com/watch?v=14cM--DBWiY

Page 36: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Animojis by Apple

https://www.youtube.com/watch?v=14cM--DBWiY

Page 37: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Pinscreen App

Page 38: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

Pinscreen App

Page 39: Animación facial - Dan Casasdancasas.github.io/teaching/AC-2019/docs/3.2-Animacion-facial-v20… · 2 + w 3. Animación facial Blendshapes • Combinación base de expresiones faciales

MATLAB demo