UNIVERSIDAD DE ALCALÁ

Departamento de Automática

JOINT-LEVEL FATIGUE SIMULATION FOR ITS EXPLOITATION IN HUMAN POSTURE

CHARACTERIZATION AND OPTIMIZATION

Memoria de tesis que presenta para optar al grado de doctor

Inmaculada Rodríguez Santiago

Dirigida por:

Dr. Ronan Boulic. Escuela Politécnica Federal. Lausanne. Suiza

Dr. Daniel Meziat Luna. Departamento de Automática.

Alcalá de Henares, Noviembre de 2003

A la memoria de mi padre, Gregorio,

a mi madre, Cristina y a mi marido Antonio.

El que la sigue la consigue

AGRADECIMIENTOS

En primer lugar quisiera agradecerle a los directores de este trabajo de investigación Dr. D. Ronan

Boulic y Dr. D. Daniel Meziat, sin cuyo soporte y directrices hubiera sido imposible el desarrollo y

la culminación de ésta tesis. A Thierry Michellod por sus palabras de ánimo y aliento para

continuar con este trabajo, también por su aportación en varios de los diseños utilizados. A Paolo

Baerlocher por su ayuda en todo momento durante mis estancias en la Escuela Politécnica de

Lausanne. A todos los integrantes de “mi pasillo”, el subárea de Lenguajes y Sistemas Operativos,

un inmejorable ambiente de trabajo sirve de mucha ayuda, y especialmente a los más veteranos,

Francisco Javier Ceballos y Sebastián Sánchez que me han brindado un gran apoyo desde que

llegué a este departamento. A los alumnos de proyecto fin de carrera que han colaborado en este

trabajo, especialmente a Manuel Peinado, quién ha mostrado gran interés en los temas en los que

hemos trabajado juntos. A todos los miembros del departamento de Automática que, con mucha

paciencia e interés, han participado en los experimentos que hemos realizado. A Carmen

Fernández y toda su familia, ellos han hecho mas llevadero el hecho de vivir lejos de los míos. Por

supuesto, a mi familia, y en especial a mi madre. A mi marido por la paciencia que ha tenido

durante todos estos años y por su apoyo incondicional en todo momento.

.

ABSTRACT

In this research, we propose a model to calculate muscular fatigue at joint level, more

precisely at muscle groups level. The model is used for the computerized generation of

realistic human postures. Our approach splits each single degree of freedom joint into two

coordinated half-joints, thus the name of half-joint pair. In Anatomy, both groups

constituting the half-joint pair are said to be antagonist. Fatigue model parameters are joint

strength and the current joint torque, which are used to calculate a value of normalized

torque. The normalized torque is used to compute the maximum holding time that the

posture can be sustained (in an evolving static context). The model integrates time as an

explicit variable in an Inverse Kinematics framework in such a way that fatigue evolution

over time can be exploited for posture optimization and reachable volume characterization.

In the postural optimization we introduce a hysteresis activation pattern for each half-joint to

set a fatigue reduction constraint whenever necessary. They can be named “hard constraints”

as they have to be ensured with a higher priority than all the other Inverse Kinematics tasks.

The hysteresis activation pattern analyses half-joint fatigue level and when it is above the

fatigue threshold, the joint variation is constrained to reduce the half-joint torque by a small

increment compatible with the corresponding time increment. Our approach achieves fatigue

minimization, exploiting active and passive torques at joint level. We have used a factor,

named “muscular tonus”, which represents the proportion of active torque that is being used

in the fatigue reduction process. At a higher level, we use the model to identify postures or

reachable spaces using the fatigue factor.

Contributions of the model are the reduced number of parameters used and the

consideration of the pass of time in the own model. Our approach has a low computational

cost, being suited for PC platform. It has been validated in an Inverse Kinematics framework

for realistic posture generation. During the simulation, joints fatigue values are updated so

that the system reacts when unbearable fatigue values are reached. The fatigued posture is

then adjusted searching for a less fatigued one. We have proven experimentally that strategies

followed by subjects were similar to those achieved by the simulation framework.

RESUMEN AMPLIADO

Durante los últimos años, la animación realista de personajes virtuales por computador se ha

abordado desde dos líneas de investigación. La primera involucra la animación facial, los

modelos de piel, aspectos relativos a cabello, vestimenta, etc. La segunda explora el

movimiento humano. Además de una apariencia realista, un humano virtual debería exhibir

movimientos realistas. Actualmente, esta segunda línea es un tema de investigación abierto y

con muchos problemas aún por resolver.

Como queda reflejado en la revisión del estado del arte de este documento, las técnicas

basadas en dinámica producen movimientos realistas pero no permiten crear aplicaciones

realmente interactivas. Sin embargo, técnicas basadas en cinemática son capaces de producir

animaciones interactivas pero no proporcionan características realistas a las animaciones y

posturas generadas.

El entorno de trabajo con Cinemática Inversa que se propone en esta investigación evalúa un

factor fisiológico como es la fatiga a nivel articular, introduciendo una dimensión temporal

en la convergencia hacia el objetivo, añadiendo de esta forma realismo a la postura generada.

La posibilidad de usar varias tareas y ordenarlas por orden de prioridad nos ha permitido

reforzar la importancia de unas respecto a otras. Por ejemplo, establecer que el centro de

masas tiene mayor prioridad que una tarea que controle la posición de un miembro de la

figura humana y que esta última tenga más prioridad que una tarea de orientación que mire

hacia el objetivo.

No hay demasiadas investigaciones que hayan incluido modelos músculo-esqueléticos o

factores fisiológicos como la fatiga para mejorar el realismo de animaciones. Cabe destacar el

trabajo realizado por Komura quien diseñó un sistema de animación humana para permitir la

interpolación de posturas arbitrarias usando teoría de control óptima. El autor propuso

minimizar la acción muscular, usó datos biomecánicos provenientes de otras investigaciones

así como el bien conocido modelo muscular de Hill. Los datos biomecánicos incluían

parámetros musculares como el origen del músculo, datos de inserción, máxima fuerza

muscular, longitud del tendón, etc. Un estudio posterior del mismo autor combinó el modelo

músculo-esquelético ya existente y un modelo de fatiga basado en el nivel de pH intracelular.

Comparado con un modelo muscular detallado, que necesita datos geométricos y parámetros

específicos del músculo, nuestro sistema se enfoca hacia cálculos a nivel de grupos de

músculos antagonistas, no a nivel de músculos individuales. También, a diferencia del

modelo basado en el nivel de pH, nuestro modelo de fatiga está basado en estudios

ergonómicos.

Nuestra investigación propone un modelo para calcular fatiga muscular a nivel de

articulaciones, más precisamente a nivel de grupos musculares. Nuestra propuesta es dividir

cada articulación de un grado de libertad en dos articulaciones coordinadas, denominadas

half-joints.

Cada half-joint refleja la actividad de un grupo de músculos asociado con un grado de libertad,

en una dirección: la dirección de empuje del correspondiente grupo muscular. En anatomía,

los dos grupos musculares que constituyen un half-joint se denominan antagonistas.

Calculamos y visualizamos variables independientes de fatiga para cada grupo antagonista.

Los parámetros del modelo son la máxima fuerza muscular y el momento de fuerza actual a

nivel de articulación, ambos se usan para calcular un valor de momento de fuerza

normalizado. Este valor normalizado se usa para computar el tiempo máximo que una

postura puede mantenerse. El modelo integra el tiempo como una variable explícita en un

marco de trabajo con Cinemática Inversa, de forma que su evolución a lo largo del tiempo

pueda ser explotada tanto para optimización de posturas como en la caracterización de

volúmenes alcanzables.

Para la optimización de posturas introducimos un patrón de activación para cada articulación

que permite establecer una restricción de reducción de fatiga. Estas restricciones se pueden

también llamar restricciones fuertes, ya que tiene que asegurarse su mayor prioridad respecto

cualquier otra tarea de Cinemática Inversa. El patrón de activación, basado en el fenómeno

conocido como histéresis, analiza el nivel de fatiga de una articulación y cuando éste supera

un umbral, la variación que sufre la articulación reduce el momento de fuerza por medio de

un pequeño incremento compatible con el correspondiente incremento del tiempo. La

minimización de la fatiga se consigue usando momentos de fuerza activos y pasivos. Hemos

utilizado un factor llamado tono muscular que representa la proporción de momento de

fuerza activo que está siendo usado en el proceso de reducción de fatiga.

Por otro lado, y a un nivel más alto de abstracción, usamos el modelo de fatiga para

identificar posturas y volúmenes alcanzables usando este factor fisiológico. De esta forma,

una característica que identifica un espacio alcanzable, y en consecuencia una postura, es la

fatiga producida durante el tiempo que la postura de alcance se mantiene.

La carencia de datos relativos a curvas de máxima fuerza muscular (strength), ha sido una de

las dificultades que preveíamos íbamos a encontrar durante el desarrollo de la investigación y

que finalmente constatamos que hemos encontrado. En consecuencia, el modelo ha sido

validado en casos de estudio para los cuales había datos disponibles.

La aportación de más relevancia de ésta tesis ha sido la propuesta de un modelo de fatiga

muscular a nivel de articulaciones para posturas que evolucionan lentamente. Contribuciones

del modelo son el reducido número de parámetros manejado y la consideración del paso del

tiempo en el propio modelo. Hemos introducido el concepto de half-joint el cual nos ha

permitido modelar el comportamiento de grupos de músculos antagonistas.

Se ha desarrollado un entorno de animación basado en Cinemática Inversa que utiliza la

fatiga a dos niveles bien diferenciados. A bajo nivel, ajustamos posturas fatigadas a través de

un mecanismo que busca una postura donde minimizar este factor fisiológico. Hemos

constatado experimentalmente que la estrategia seguida por sujetos sometidos a un

experimento para minimizar la fatiga es similar a la generada por nuestro sistema. Hay por lo

tanto evidencia de que hemos encontrado un algoritmo que conduce hacia cambios

posturales en busca de posturas menos cansadas. A más alto nivel, generamos y

caracterizamos, con la fatiga producida, espacios alcanzables y posturas adoptadas cuando

realizamos tareas de alcance. Por tanto, podemos concluir que los principales objetivos de

nuestra investigación se han conseguido.

TABLE OF CONTENTS

CHAPTER 1

INTRODUCTION...................................................................................................................................................... 23

1.1 THE CHALLENGE OF COMPUTER GENERATED POSTURES .............................................................23

1.2 MOTIVATION ................................................................................................................................24

1.3 THESIS OBJECTIVES ......................................................................................................................25

1.4 THESIS CONTRIBUTIONS ...............................................................................................................26

1.5 POTENTIAL APPLICATIONS............................................................................................................26

1.6 OVERVIEW OF THE THESIS ............................................................................................................27

CHAPTER 2

RELATED WORK .................................................................................................................................................... 29

2.1 REALISM IN COMPUTER ANIMATION TECHNIQUES .......................................................................29

2.1.1 Key-Frame Techniques .........................................................................................................29

2.1.2 Motion Capture and Motion Editing Techniques..................................................................30

2.1.3 Inverse Kinematics................................................................................................................31

2.1.4 Dynamic Techniques.............................................................................................................34

2.1.5 Task Level Techniques ..........................................................................................................35

2.1.6 Behavioral Techniques..........................................................................................................36

2.2 ANIMATION BASED ON PHYSIOLOGICAL PARAMETERS.................................................................38

2.2.1 Minimum Muscle Action .......................................................................................................38

2.2.2 Musculoskeletal & Fatigue in the Lower Leg .......................................................................40

2.2.3 Minimizing other Physical Values ........................................................................................43

2.3 HUMAN BODY POSITIONING. OPTIMIZATION AND CHARACTERIZATION. ......................................44

2.4 SUMMARY.....................................................................................................................................47

CHAPTER 3

FACTORS INFLUENCING HUMAN POSTURES ............................................................................................... 49

3.1 INTRODUCTION .............................................................................................................................49

3.2 PHYSIOLOGICAL FACTORS ............................................................................................................49

3.2.1 The Muscular and the Skeletal System..................................................................................49

3.2.2 Influence of Fatigue ..............................................................................................................52

3.2.3 Age ........................................................................................................................................53

3.3 PSYCHOLOGICAL FACTORS ...........................................................................................................54

3.4 PSYCHO-PHYSIOLOGICAL FACTORS ..............................................................................................56

3.4.1 Overview ...............................................................................................................................56

3.4.2 Muscular Tonus ....................................................................................................................56

3.5 TRAINING FACTORS ......................................................................................................................57

3.6 SUMMARY.....................................................................................................................................58

CHAPTER 4

FATIGUE MODEL DESCRIPTION....................................................................................................................... 59

4.1 INTRODUCTION .............................................................................................................................59

4.2 FATIGUE AT JOINT LEVEL VERSUS FATIGUE AT MUSCLE LEVEL...................................................59

4.3 MODELING ANTAGONISTIC MUSCLE GROUPS: THE HALF-JOINT CONCEPT ...................................60

4.4 FATIGUE MODEL PARAMETERS ....................................................................................................61

4.4.1 Muscular Strength.................................................................................................................63

4.4.2 Torque Computation .............................................................................................................66

4.4.2.1 Active Torque............................................................................................................................... 67 4.4.2.2 Passive Torque ............................................................................................................................. 67

4.4.3 The Maximum Holding Time.................................................................................................69

4.5 A VARIATIONAL EXPRESSION OF FATIGUE ...................................................................................70

4.5.1 The Recovery Term ...............................................................................................................72

4.5.2 The Entire Process of Fatigue Calculation...........................................................................74

4.6 INTEGRATING THE HALF-JOINT CONCEPT IN THE FATIGUE FORMULATION ...................................75

4.7 SUMMARY.....................................................................................................................................77

CHAPTER 5

FATIGUE EXPLOITATION IN AN INVERSE KINEMATICS FRAMEWORK.............................................. 79

5.1 INTRODUCTION .............................................................................................................................79

5.2 INVERSE KINEMATICS ...................................................................................................................80

5.2.1 Redundancy...........................................................................................................................83

5.2.2 Hard Constraints ..................................................................................................................84

5.3 FATIGUE MODEL EXPLOITATION ..................................................................................................85

5.3.1 Overview ...............................................................................................................................85

5.3.2 Postures Optimization...........................................................................................................85

5.4 REACHABLE SPACE EVALUATION FOR POSTURES CHARACTERIZATION .......................................91

5.4.1 Construction of a Reachable Volume for Different Strategies..............................................92

5.4.2 Adding Fatigue Data to the Reachability Volume.................................................................96

5.5 SUMMARY.....................................................................................................................................98

CHAPTER 6

RESULTS ................................................................................................................................................................... 99

6.1 INTRODUCTION .............................................................................................................................99

6.2 CASE STUDIES ON OPTIMIZATION .................................................................................................99

6.2.1 Arm Case Study...................................................................................................................100

6.2.1.1 Experiment ................................................................................................................................. 100 6.2.1.2 Simulation .................................................................................................................................. 104

6.2.2 Contraposto Case Study......................................................................................................113 6.2.2.1 Joints Involved in an Asymmetrical Posture .............................................................................. 114 6.2.2.2 Simulation .................................................................................................................................. 114

6.3 SIMULATION ENVIRONMENT.......................................................................................................117

6.4 FATIGUE AND REACHABILITY FRAMEWORK ...............................................................................118

6.5 SUMMARY...................................................................................................................................121

CHAPTER 7

CONCLUSIONS ...................................................................................................................................................... 123

7.1 DISCUSSION ................................................................................................................................123

7.2 FUTURE WORK ...........................................................................................................................125

APPENDIX A........................................................................................................................................................... 127

APPENDIX B ........................................................................................................................................................... 133

APPENDIX C........................................................................................................................................................... 135

REFERENCES......................................................................................................................................................... 141

LIST OF FIGURES

FIGURE 2-1. CHARACTER WITH THE CENTER OF MASS CONTROLLED (FROM [MAS96]) ...............................33

FIGURE 2-2. DYNAMICS (FROM [HOD95]) ...................................................................................................35

FIGURE 2-3. AUTONOMOUS VIRTUAL HUMANS (FROM [THA99])................................................................37

FIGURE 2-4. HILL’S MUSCLE MODEL...........................................................................................................39

FIGURE 2-5. STEPS FOLLOWED TO MINIMIZE MUSCLE ACTION .....................................................................40

FIGURE 2-6. DERIVATION OF THE FATIGUE/RECOVERY MODEL ...................................................................42

FIGURE 2-7. STORED (A) AND ESTIMATED POSTURES (B, C) FROM A STANDING CHARACTER (FROM

[AYD98]) .................................................................................................................................46

FIGURE 3-1. SKELETAL MUSCLES (FROM [SPE01])......................................................................................51

FIGURE 3-2. CENTRAL NERVOUS SYSTEM (CNS) ACTIVATING MUSCLES (FROM [KOO01]) ........................52

FIGURE 3-3. LOSS OF MUSCLE FIBERS WITH AGE (FROM [COM96])..............................................................53

FIGURE 3-4. PSYCHOLOGICAL MUSCLE FUNCTION OF GENERAL MUSCLE GROUPS (FROM [BOD99]) ...........55

FIGURE 3-5. SYMMETRICAL AND ASYMMETRICAL POSES............................................................................57

FIGURE 3-6. STRENGTH IMPROVEMENT AFTER WEEKS OF TRAINING ...........................................................58

FIGURE 4-1. A SINGLE DOF JOINT (THE ELBOW) IS SPLIT IN TWO HALF-JOINTS (A HALF-JOINT PAIR) ...........62

FIGURE 4-2. FATIGUE MODEL PARAMETERS ................................................................................................63

FIGURE 4-3. THE LEVER ARM OF THE MUSCLE DEPENDS ON ITS LINE OF ACTION........................................64

FIGURE 4-4. TYPES OF STRENGTH CURVES (FROM [KUL84] ).......................................................................64

FIGURE 4-5. ELBOW FLEXION STRENGTH ....................................................................................................65

FIGURE 4-6. ELBOW EXTENSION STRENGTH ................................................................................................66

FIGURE 4-7. ANGLE CONVENTIONS (FROM [CHA88]) ..................................................................................66

FIGURE 4-8. PASSIVE JOINT MOMENT VS. JOINT ANGLE (FROM [DIG95]) .....................................................68

FIGURE 4-9. MEASURED AND PREDICTED PASSIVE MOMENT AT KNEE JOINT (FROM [RIE99]) ......................69

FIGURE 4-10. FATIGUE FACTOR AS A FUNCTION OF THE NORMALIZED TORQUE...........................................71

FIGURE 4-11. AVERAGE TORQUE COMPUTATION.........................................................................................73

FIGURE 4-12. RECOVERY FACTOR AS A FUNCTION OF THE NORMALIZED TORQUE .......................................73

FIGURE 4-13. MUSCULAR FATIGUE CALCULATION ......................................................................................75

FIGURE 4-14. SPLITTING OF HUMAN ARM JOINTS, AGONIST (RED) ANTAGONIST (PINK) ...............................76

FIGURE 4-15. AN EXAMPLE OF FATIGUE CALCULATION FOR EACH JOINT OF A PAIR ....................................76

FIGURE 5-1. FORWARD VS. INVERSE KINEMATICS ......................................................................................80

FIGURE 5-2. CONSTRAINT HYSTERESIS ACTIVATION PATTERN ....................................................................87

FIGURE 5-3. TONUS DETERMINES THE INFLUENCE OF THE ACTIVE TORQUE.................................................87

FIGURE 5-4. EXAMPLE OF HYPERPLANE IN 2D ............................................................................................89

FIGURE 5-5. GRAPHIC REPRESENTATION OF FUNCTION ),,( HKAk θθθ .......................................................90

FIGURE 5-6. GRAPHIC REPRESENTATION OF FUNCTION ),( HKh θθ .............................................................90

FIGURE 5-7. GENERATION OF A REACHABLE VOLUME.................................................................................95

FIGURE 5-8. THREE REACHABLE SPACES: (A) DIRECT USING ONLY THE ARM (B) DIRECT USING THE UPPER

BODY (C) DIRECT USING THE ENTIRE HIERARCHY AND CONTROLLING BALANCE.....................96

FIGURE 5-9. FEATURING REACHABLE POINTS WITH FATIGUE DATA.............................................................97

FIGURE 6-1. FORCE FT AS FUNCTION OF MUSCLE LENGTH, PASSIVE FP AND ACTIVE FC TENSION (FROM

[WIN90A]) .............................................................................................................................102

FIGURE 6-2. FATIGUED MUSCLE IN RED.....................................................................................................107

FIGURE 6-3. OBLIQUE -45º CASE: SEQUENCE OF FRAMES ..........................................................................112

FIGURE 6-4. ALTERNATION BETWEEN ASYMMETRICAL POSTURES ............................................................113

FIGURE 6-5. JOINTS INVOLVED IN AN ASYMMETRICAL RIGHT POSE ...........................................................114

FIGURE 6-6. STANDING POSTURE OF THE VIRTUAL HUMAN .......................................................................116

FIGURE 6-7. ART CREATION ADOPTING STANDING POSTURE .....................................................................116

FIGURE 6-8. SIMULATION ENVIRONMENT..................................................................................................117

FIGURE 6-9. VISUAL DATA ABOUT FATIGUE ..............................................................................................118

FIGURE 6-10. FATIGUE & REACHABILITY FRAMEWORK ............................................................................119

FIGURE 6-11. INITIAL BOX.........................................................................................................................120

FIGURE 6-12. REACHABLE BOX WITH FATIGUE DATA ................................................................................120

FIGURE A.1. EXPERIMENT SETTINGS .........................................................................................................122

FIGURE A.2. TOP AND SIDE VIEW OF THE EXPERIMENT..............................................................................122

FIGURE A.3. SOME OF THE PICTURES TAKEN FROM THE EXPERIMENT .......................................................124

FIGURE B.1. CONTRAPOSTO POSES............................................................................................................126

FIGURE C.1. VATREE CONSTRUCTION ALGORITHM ..................................................................................128

FIGURE C.2 INITIAL BOX...........................................................................................................................129

FIGURE C.3. CONSTRUCTION OF A 2D VERSION OF THE TREE ....................................................................130

FIGURE C.4. STRUCTURE OF AN EXAMPLE TREE ........................................................................................131

LIST OF TABLES

TABLE 4-1. STRENGTH AS FUNCTION OF JOINT ANGLES: ELBOW θE, SHOULDER θS, TORSO θT, HIP θH, KNEE

θK , ANKLE θA ..........................................................................................................................65

TABLE 4-2. FORCE-TIME RELATIONSHIP FOR DIFFERENT MUSCLE GROUPS (FROM [MAN86]) ......................70

TABLE 5-1. TASK-PRIORITY FORMULATIONS...............................................................................................82

TABLE 5-2. PARTIAL DERIVATIVES OF FUNCTION H IN FIGURE 5-6 .............................................................91

TABLE 5-3. CONSTRAINTS THAT DEFINE REACHING STRATEGIES ................................................................94

TABLE 6-1. EXPERIMENT ON OBLIQUE (-25) LINE......................................................................................101

TABLE 6-2. EXPERIMENTS ON OBLIQUE (-45) LINE ....................................................................................103

TABLE 6-3. EXPERIMENTS ON HORIZONTAL LINE ......................................................................................103

TABLE 6-4. SIMULATION RESULTS ............................................................................................................105