presentación tesis doctoral

TESIS DOCTORAL

Reliability of Performance Measures inTree-Based Genetic Programming:A Study on Koza’s Computational Effort

David Fernández Barrero

Directores:Dra. María D. R-Moreno

Dr. David Camacho

Departamento de AutomáticaUniversidad de Alcalá

Diciembre 2011

IntroducciónPlanteamiento

EstáticoDinámicoFiabilidad

Conclusiones

Índice

Índice de la presentación1 Introducción2 Planteamiento de la investigación3 Estimación de la probabilidad de éxito estática4 Estimación de la probabilidad de éxito dinámica5 Fiabilidad del esfuerzo computacional6 Conclusiones

2 / 40



Conclusiones

Precedentes de la tesis: SearchyPlanteamiento inicialDefinición de esfuerzo computacional

Índice1 Introducción

Precedentes de la tesis: SearchyOrigen de la pregunta de investigaciónDefinición de esfuerzo computacional

2 Planteamiento de la investigaciónAnálisis exploratorioModelo de probabilidad de éxitoDiseño experimentalConclusiones de la sección

3 Estimación estática de la probabilidad de éxito P(M, G )Distribución de la probabilidad estática de éxitoIntervalos de confianzaResultado experimental con GPConclusiones de la sección

4 Estimación dinámica de la probabilidad de éxitoIntroducciónAjuste del modelo de generación de éxitoValidación del modelo de probabilidad de éxitoAnálisis experimental de la generalizaciónExplicación teórica de los resultadosConclusiones de la sección

5 Fiabilidad del esfuerzo computacional de KozaIntroducciónEfecto operador de redondeo sobre I (M, i , z)Error de estimación sobre I (M, i , z)Caracterización del error máximo esperado de E

6 ConclusionesConclusionesPublicacionesTrabajo futuro

3 / 40



Conclusiones


IntroducciónPrecedentes de la tesis: Searchy, un metabuscador distribuido semántico

Se parte del metabuscador SearchyMetabuscador distribuido, orientado a la web y extensible

4 / 40



Conclusiones


IntroducciónOrigen de la pregunta de investigación

Planteamiento inicialExtraer información con Algoritmos Genéticos, ProgramaciónGenética y Evolución de GramáticasOtras aplicaciones de la Computación Evolutiva

Extracción de información con Algoritmos GenéticosterminadaExtracción de información con Programación Genética (GP)Esfuerzo computacional para medir el rendimiento

Ampliamente utilizadoInfluencia de Koza

5 / 40



Conclusiones


IntroducciónDefinición de esfuerzo computacional

Probabilidad de éxito P(M, i)

P(M, i) =k(i)

n

I (M, i , z)

I (M, i , z) = Mi‰

ln(1 − z)

ln(1 − P(M, i))

ıi : generaciónM: tamaño poblaciónz: probabilidad de éxito esperada

Esfuerzo computacional (E)

E = mini{I (M, i , z)}

0 10 20 30 40 50

0.0

0.2

0.4

0.6

0.8

1.0

P(M

,i)

Curvas de Koza

Generación

0e+

002e

+05

4e+

056e

+05

8e+

051e

+06

I(M

,i,z)

P(M,i)I(M,i,z)

13: 117000

6 / 40

Pregunta de investigación

¿El esfuerzo computacional de Koza esuna médida de rendimiento fiable?



Conclusiones

ExploraciónModeloExperimentosConclusiones








8 / 40



Conclusiones


Planteamiento de la investigaciónAnálisis exploratorio

Fuentes de incertidumbre: Redondeo y estimación

I (M, i , z) = Mi

&ln(1 − z)

ln(1 − (P(M, i) + εest))

’= Mi

ln(1 − z)

ln(1 − P(M, i))+ εI

ceil + εIest

Estudio del error: ∆E =∣∣∂E∂P

∣∣ ∆PEsta aproximación es inviable

Desconocemos la expresión de P(M, i): Modelo de P(M, i)Desconocemos ∆P: Intervalos de confianza

9 / 40



Conclusiones


Planteamiento del problemaModelo de la probabilidad de éxito

P(M, i) proporciona información sobreCuánto de probable es encontrar una soluciónCuándo se espera encontrar la solución

Modelo de probabilidad de éxito

P?(M, i) = P(M, G )F (i)

P(M, G ): Prob. éxito estáticaF (i): Prob. éxito dinámica

0 5 10 15 20 25 30

0.0

0.2

0.4

0.6

0.8

1.0

Generación

Pro

babi

lidad

G=25F(15) F(G)

Problema: Caracterizar P(M, G ) y F (i)

10 / 40



Conclusiones


Planteamiento de la investigaciónDiseño experimental

Benchmarks:Hormiga artificial, k-multiplexor, n-paridad, regresión

Dos problemasP(M, i), I (M, i , z) y E son desconocidosNecesidad de un alto número de ejecuciones

Solución: Remuestreo

Hormiga 6-Multiplexor 5-Paridad Regresiónn 100,000 100,000 5,000 100,000k 13,168 95,629 305 29,462

Pbest(M, G) 0.13168 0.95629 0.061 0.29462Ebest 490,000 24,000 14,800,000 117,000

11 / 40



Conclusiones


Planteamiento de la investigaciónConclusiones de la sección

Fases de la investigación1 Caracterización de la probabilidad de éxito estática2 Caracterización de la probabilidad de éxito dinámica3 Determinación de la fiabilidad del esfuerzo computacional

Aproximación teórica y experimental

12 / 40



Conclusiones

DistribuciónIntervalosExperimentosConclusiones








13 / 40



Conclusiones


Estimación estática de la probabilidad de éxito P(M , G )Distribución de la probabilidad estática de éxito

ObjetivosCaracterizar estadísticamente P(M, G )Identificar el intervalo más adecuadoDeterminar la aplicabilidad de intervalos de confianza en GP

Modelo de prob. de éxito

P(M, G) =k(G)

n

k(G) es binomialPrueba teórica: Por definiciónEvidencia experimental

Supera χ2 con α = 0,05 ydistintos n

50 60 70 80

5060

7080

90

Hormiga artificial

Cuantiles teóricos

Cua

ntile

s ex

perim

enta

les

465 470 475 480 485 490

465

475

485

6−multiplexor

Cuantiles teóricos

Cua

ntile

s ex

perim

enta

les

20 25 30 35 40 45

1520

2530

3540

45

5−paridad

Cuantiles teóricos

Cua

ntile

s ex

perim

enta

les

130 140 150 160 170 180

120

140

160

180

Regresión lineal

Cuantiles teóricos

Cua

ntile

s ex

perim

enta

les

14 / 40



Conclusiones


Estimación estática de la probabilidad de éxito P(M , G )Intervalos de confianza binomiales

Propiedades independiente del algoritmoNúmero de ejecuciones (n) y probabilidad de éxito (p)

Intervalos de confianza binomialesÚtiles para caracterizar la incertidumbre¿Qué método usar?

Parámetros de calidadLongitud del intervaloProbabilidad de cobertura (CP)

15 / 40

CP

Wils

on0.

850.

900.

951.

00

n= 20

CP

"E

xact

o"0.

850.

900.

951.

00C

P E

stan

dar

0.85

0.90

0.95

1.00

CP

Agr

esti−

Cou

ll0.

850.

900.

951.

00

0.0 0.2 0.4 0.6 0.8 1.0p

n= 50

0.0 0.2 0.4 0.6 0.8 1.0p

n= 100

0.0 0.2 0.4 0.6 0.8 1.0p

n= 500

0.0 0.2 0.4 0.6 0.8 1.0p



Conclusiones


Estimación estática de la probabilidad de éxito P(M , G )Resultado experimental con GP

Hormiga

Numero de ejec. (n)

CP

5 15 27 39 51 63 75 87 99

0.80

0.85

0.90

0.95

1.00

6−Multiplexor

Numero de ejec. (n)

CP

5 15 27 39 51 63 75 87 99

0.80

0.85

0.90

0.95

1.00

4−Paridad

Numero de ejec. (n)

CP

5 15 27 39 51 63 75 87 99

0.80

0.85

0.90

0.95

1.00

Regresion

Numero de ejec. (n)

CP

5 15 27 39 51 63 75 87 99

0.80

0.85

0.90

0.95

1.00

20 40 60 80 100

0.80

0.85

0.90

0.95

1.00

Numero de ejec. (n)

CP

p=0.13168

20 40 60 80 100

0.80

0.85

0.90

0.95

1.00

Numero de ejec. (n)

CP

p=0.95629

20 40 60 80 100

0.80

0.85

0.90

0.95

1.00

Numero de eejec. (n)

CP

p=0.061

20 40 60 80 100

0.80

0.85

0.90

0.95

1.00

Numero de ejec. (n)

CP

p=0.29462

17 / 40



Conclusiones


Estimación estática de la probabilidad de éxito P(M , G )Conclusiones de la sección

La probabilidad de éxito estática tiene una naturaleza binomialLos intervalos de Wilson son adecuados para el estudio

18 / 40



Conclusiones

IntroducciónAjusteValidaciónAnálisisExplicaciónConclusiones








19 / 40



Conclusiones


Estimación dinámica de la probabilidad de éxito F (i)Introducción

Modelo de probabilidad de éxito

P?(M, i) = P(M, G )F (i)

ObjetivosObtener la distribución de F (i)Explicar teóricamente dicho modelo

F (i): Distribución acumulada de la generación de éxitoTiempo hasta encontrar éxitoDefinida únicamente cuando hay éxito

Desconocemos F (i): Estudio empírico

20 / 40



Conclusiones


Estimación dinámica de la probabilidad de éxito F (i)Ajuste del modelo de generación de éxito

Hormiga artificial

Generación de éxito

Den

sida

d

0 10 20 30 40 50

0.00

0.02

0.04

●

●

●

●

●

●

●●

● ●

Regresión


Den

sida

d

0 10 20 30 40 50

0.00

0.04

0.08

●

●

●

●

● ● ● ● ● ●

4−Paridad


Den

sida

d

0 10 20 30 40 50

0.00

0.04

0.08

●●

●

●

●

●

●● ● ●

5−Paridad


Den

sida

d

0 200 400 600 800

0.00

00.

002

0.00

40.

006

●

●

●

●●

● ● ● ● ●

6−Multiplexor


Den

sida

d

0 10 20 30 40 50

0.00

0.04

0.08

●

●

●

●

●● ● ● ● ●

11−Multiplexor


Den

sida

d

0 200 400 600 800

0.00

00.

002

● ●

●

●

●

●●

● ● ●

●

NormalLognormalWeibullLogística

Asumimos la distribución lognormal

21 / 40



Conclusiones


Estimación dinámica de la probabilidad de éxito F (i)Validación del modelo de probabilidad de éxito

Modelo

P?(M, i) =k(G)

nΦ (µ, σ)

Dos métodosP(M, i)P?(M, i)

0 10 20 30 40 50

0.00

0.10

0.20

Hormiga

GeneracionP

roba

bilid

ad d

e ex

ito

StandardLognormal

0 10 20 30 40 50

0.0

0.4

0.8

6−Multiplexor

Generacion

Pro

babi

lidad

de

exito

0 10 20 30 40 50

0.00

0.04

0.08

5−Paridad

Generacion

Pro

babi

lidad

de

exito

0 10 20 30 40 50

0.0

0.1

0.2

0.3

0.4

Regresion

GeneracionP

roba

bilid

ad d

e ex

ito

22 / 40



Conclusiones


Estimación dinámica de la probabilidad de éxito F (i)Análisis de la generalización

¿La lognormalidad de la generación de éxito es generalizable?Experimento 1

Eliminar la cola izquierda

Generacion−de−exito

Den

sida

d 0.00

0.01

0.02

0.03

0.04

0.05

0 10 20 30 40 50

Hormiga

0.00

0.02

0.04

0.06

0.08

0.10

0.12

10 20 30 40 50

4−Paridad0.

000.

020.

040.

060.

08

0 10 20 30 40 50

6−Multiplexor

0.00

0.02

0.04

0.06

0.08

0.10

0.12

0 10 20 30 40 50

Regresion

0.00

00.

001

0.00

20.

003

0.00

4

0 200 400 600 800 1000

5−Paridad

0.00

00.

001

0.00

20.

003

0 200 400 600 800

11−Multiplexor

Exponencial

Experimento 2Eliminar la presión selectiva

Hormiga


Den

sida

d

0 200 400 600 800 1000

0.00

000.

0010

0.00

200.

0030

0 200 400 600 800 1000

020

040

060

080

010

00


Wei

bull

Regresion


Den

sida

d

0 200 400 600 800 1000

0.00

000.

0010

0.00

200.

0030

NormalLognormalWeibullLogistic

0 200 400 600 800 1000

020

040

060

080

010

00

Generation−to−success

Wei

bull

Weibull23 / 40



Conclusiones


Estimación dinámica de la probabilidad de éxito F (i)Explicación teórica de los resultados

Modelo basado en cadenas de Markov

Matriz de transiciones266666664

0 1 − ps,0 0 · · · 0 ps,00 0 1 − ps,1 · · · 0 ps,10 0 0 · · · 0 ps,2· · · · · · · · · · · · · · · · · ·

0 0 0 · · · 1 − ps,G−1 ps,G−10 0 0 · · · 1 00 0 0 · · · 0 1

377777775

Si pi ,j = pi+1,j+1 →distribucióngeométrica

24 / 40



Conclusiones


Estimación dinámica de la probabilidad de éxito F (i)Conclusiones de la sección

Distribución de la generación de éxitoCaso general: LognormalFase inicial eliminada: ExponencialSin presión selectiva: Weibull

En ausencia de memoria la generación de éxito es exponencialEl modelo propuesto queda validado

25 / 40



Conclusiones

IntroducciónRedondeo IEstimación IError E








26 / 40



Conclusiones


Fiabilidad del esfuerzo computacional de KozaIntroducción

Objetivos

Determinar la fiabilidad de E

Caracterizar el error máximo esperado de E y I (M, i , z)

I (M, i , z) = Mi

&ln(1 − z)

ln(1 − (P(M, i) + εest))

’= Mi

ln(1 − z)

ln(1 − P(M, i))+ εI

ceil + εIest

Dos fuentes de variabilidad: Redondeo y estimación de P(M, i)Dos objetos de estudio: I (M, i , z) y E

27 / 40



Conclusiones


Redondeo I(M,i,z)Efecto del operador de redondeo sobre I (M, i , z)

Error de redondeo relativo máximo

εceil (%) ≤ln(1 − P(M, i))

ln(1 − z)

0 10 20 30 40 50

0.0

1.0

2.0

3.0

Hormiga

Generaciones

Err

orre

dond

eo r

elat

ivo(ε

ceil

I)(%

)

Maximum errorMeasured error

0 10 20 30 40 50

0.0

0.4

0.8

1.2

5−Paridad

Generaciones

Err

orre

dond

eo r

elat

ivo(ε

ceil

I)(%

)

0 10 20 30 40 50

010

3050

70

6−Multiplexor

Generaciones

Err

or r

edon

deo

rela

tivo(εce

ilI

)(%)

0 10 20 30 40 50

02

46

Regresion

Generaciones

Err

orre

dond

eo r

elat

ivo(ε

ceil

I)(%

)28 / 40



Conclusiones


I(M,i,z)Error de estimación sobre I (M, i , z) (I)

Cota del error de estimación relativo

εIest(%) ≤ 1− ln(1− P(M, i))

ln(1− (P(M, i) + εest))

−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6

−60

0−

500

−40

0−

300

−20

0−

100

010

0

Error de estimación e I(M,i,z)

Error de estimación (εest)

Err

or r

elat

ivo

de e

stim

ació

n (ε

est

I)(%

)

P = 0.1P = 0.25P = 0.5P = 0.75P = 0.9

29 / 40



Conclusiones


I(M,i,z)Error de estimación sobre I (M, i , z) (II)

Cota del error de estimación relativo enfunción de n y p

εIest ( %) ≤

ln(1 − p)

2

1

ln(1 − Li )−

1

ln(1 − Ui )

!

[Li , Ui ] es el intervalo de Wilson de (pi , n)

Error máximo de estimación de I(M,i,z), max(εestI (%))

Probabilidad de éxito (P)

Núm

ero

de e

jecu

cion

es (

n)

0.2 0.4 0.6 0.8

2040

6080

100

120

140

30 / 40



Conclusiones


I(M,i,z)Error de estimación sobre I (M, i , z) (III)

0.00 0.05 0.10 0.15 0.20

−20

00

100

Hormiga

Probabilidad exito (p)

Err

or r

elat

ivo

estim

acio

n (%

)

0.0 0.2 0.4 0.6 0.8 1.0

−20

0−

100

010

0

6−Multiplexor


Err

or r

elat

ivo

estim

acio

n (%

)

0.00 0.04 0.08 0.12

−20

00

100

5−Parity


Err

or r

elat

ivo

estim

acio

n (%

)

0.0 0.1 0.2 0.3 0.4

−15

0−

500

50

Regresion


Err

or r

elat

ivo

estim

acio

n (%

)

Experimento1 Remuestrear 50 ejecuciones2 Calcular I (M, i , z)

3 Almacenar (pi , ε%I )

4 Ir a 1) 200 veces5 Dibujar los pares (pi , ε

%I )

31 / 40



Conclusiones


I(M,i,z)Error de estimación sobre I (M, i , z) (III)

0.00 0.05 0.10 0.15 0.20

−20

00

100

Hormiga


Err

or r

elat

ivo

estim

acio

n (%

)

0.0 0.2 0.4 0.6 0.8 1.0

−20

0−

100

010

0

6−Multiplexor


Err

or r

elat

ivo

estim

acio

n (%

)

0.00 0.04 0.08 0.12

−20

00

100

5−Parity


Err

or r

elat

ivo

estim

acio

n (%

)

0.0 0.1 0.2 0.3 0.4

−15

0−

500

50

Regresion


Err

or r

elat

ivo

estim

acio

n (%

)Error máximo de estimación de I(M,i,z), max(εest

I (%))

Probabilidad de éxito (P)

Núm

ero

de e

jecu

cion

es (

n)

0.2 0.4 0.6 0.8

2040

6080

100

120

140

31 / 40



Conclusiones


Error del esfuerzo computacionalCaracterización del error máximo esperado de E (I)

E puede expresarse como E = f (p, µ, σ)

E = mini

(Mi

ln(1 − z)

ln(1 − k(G)n Φ(µ, σ))

)

µσ

µ0

σ0 ●

(µ0,σ0)

32 / 40



Conclusiones


Error del esfuerzo computacionalCaracterización del error máximo esperado de E (II)

Calculamos la incertidumbre conintervalos de confianza

∆E % =m«ax(| E(µ, σ)− E(µ′, σ′) |)

E(µ, σ)

µσ

µ0

σ0 ●

(µ0,σ0)

µ− µ+

σ−

σ+

33 / 40

Caracterización del error de estimación de E

1

23

4

0.2

0.4

0.60.8

1.0

0.1

0.2

0.3

0.4

0.5

µσ

ε

n=30

1

23

4

0.2

0.4

0.60.8

1.0

0.1

0.2

0.3

0.4

0.5

µσ

ε

n=50

1

23

4

0.2

0.4

0.60.8

1.0

0.1

0.2

0.3

0.4

0.5

µσ

ε

n=100

1

23

4

0.2

0.4

0.60.8

1.0

0.1

0.2

0.3

0.4

0.5

µσ

ε

n=500



Conclusiones

ConclusionesPublicacionesTrabajo futuro








35 / 40



Conclusiones


ConclusionesConclusiones

Pregunta de investigación¿El esfuerzo computacional es fiable?En general, no

No linealidades amplifican erroresParámetro innecesario (z)Pierde datos importantesAlternativas como el AESEn caso de usar el esfuerzo computacional

Eliminar redondeoEstablecer el número de ejecuciones según el error admisibleInformar de k(i)

36 / 40



Conclusiones


ConclusionesPublicaciones más relevantes

Barrero, D. F.; R-Moreno, M. D.; Camacho, D. Adapting Searchy to extractdata using evolved wrappers. In Expert Systems with Applications, 39 (3):3061-3070, 2012 (Impacto: 1.926, 38/108)Barrero, D. F.; González-Pardo, A.; Camacho, D.; R-Moreno, M. D. Distributedparameter tuning for genetic algorithms. In Computer Science and InformationSystems, 7 (3): 661-677, 2010. (Impacto: 0.324, 117/128)R-Moreno, M. D.; Castaño, B.; Carbajo, M.; Moreno, A.; Barrero, D. F.;Muñoz, P. Multi-Agent Intelligent Planning Architecture for People Locationand Orientation using RFID. Cybernetics and Systems, 42 (1): 16 - 32, 2011.(Impacto: 0.662, 14/19)Barrero, D. F.; R-Moreno, M.; Castano, B.; Camacho, D. An Empirical Studyon the Accuracy of Computational Effort in Genetic Programming. En CEC2011, págs. 1169-1176, 2011 (Impacto: CORE A)Barrero, D. F.; Castaño, B.; R-Moreno, M. D.; Camacho, D. StatisticalDistribution of Generation-to-Success in GP: Application to Model AccumulatedSuccess Probability. En EuroGP 2011, págs. 155-166, 2011. (Impacto: CORE B)Barrero, D. F.; Camacho, D.; R-Moreno, M. D. Confidence Intervals of SuccessRates in Evolutionary Computation. En GECCO-2010, págs. 975-976, 2010.(Impacto: CORE A)

37 / 40



Conclusiones


ConclusionesTrabajo futuro

Ampliar el estudio con cadenas de MarkovGeneralización de la distribución de la generación de éxitoCondición de reinicio óptimo

Analizar las propiedades estadísticas de otras medidasEstudiar los lazos entre la Teoría de la Fiabilidad y laComputación EvolutivaTrabajo aplicado

Criptoanálisis de protocolos de autenticación ultraligerosPlanificación logística

38 / 40

Distinguir el fenómeno del aparato es un viejoproblema en las ciencias empíricas que ha sidoabordado desarrollando una ciencia del aparato.Needed: An Empirical Science of AlgorithmsJ. N. Hooker

TESIS DOCTORAL

Reliability of Performance Measures inTree-Based Genetic Programming:A Study on Koza’s Computational Effort

David Fernández Barrero

Directores:Dra. María D. R-Moreno

Dr. David Camacho

Departamento de AutomáticaUniversidad de Alcalá

Diciembre 2011

presentación tesis doctoral

Education

xito pm

xito esttica4 estimacin

investigacin3 estimacin

zerror de estimacin

xito dinmica5 fiabilidad

seccin3 estimacin esttica

seccin4 estimacin dinmica

miln1 zln1 pm