from genes to behavior a new challenge for machine visionseminars/seminars/extra/2009_06_23_… ·...
TRANSCRIPT
From genes to behaviora new challenge for
Machine Vision
P. Perona - CaltechOxford University
22 June 2009
Goal: understand this
H. Cartier-Bresson[Cartier-Bresson, Roma]
Why?
Surveillance, sociologyWarfare
EntertainmentAutomotive: safety, comfort
Consumerelectronics
What is `behavior’?
1 frame
1 second
1 minute
1 hour
1 day
10 pix 100 pix 1000 pix
mov
emes
actio
nsac
tiviti
es
step reach glance
walk
hike
have drink
dine flirt
court
write `A’open door
Johansson’s experiments [‘70s]
Johansson’s experiments [‘70s]
Johansson’s experiments [‘70s]
Johansson’s experiments [‘70s]
[Song et al, PAMI 03]
Detection and tracking
[C. Fanti, PhD Thesis, 2008]
Movemes - unsupervised learning
Challenges working with humans
• Detecting/tracking body and parts
• Variable clothing, viewpoint, lighting
• Definition of behaviors
• Ground truth
• Legal restrictions
12
Zidane in a dish
[Dankert et al., Nature Methods, April 2009]
Zidane in a dish
[Dankert et al., Nature Methods, April 2009]
Study fly behavior instead
``Even insects express anger, terror, jealousy and love by their stridulation.’’ -Charles Darwin (1872) The expression of Emotions in Man and Animals p 349
``Flies are like little people, only easier to handle’’ - D. Anderson (2005)
© Hoyer and Heisenberg, 2006
Courtship
Marla B. SokolowskiNature Reviews Genetics 2, 879-892 (2001)
Adapted from:Kravitz et al.PNAS April 16, 2002 vol. 99 no. 85664–5668
Fly behavior(as we understand it today)
Dankert
15/7/2007 03:03:55 PM
From images to behavior
x
y
t
Video stream
tracking
Trajectory
I(x, y, t) !x(t)
statistics
10Mb/s 10kb/s
f1...
fN
Features100b
!f
The puff-o-mat
D. Anderson et al., Caltech, 2004
! "!!! #!!! $!!! %!!! &!!! '!!!!
#
%
'
(
"!
"#
"%
"'
"(
#!
)*+,-./0.1"!2345
6-+/.278.9-7:;<=8.1,,>45
;4#3.,-+/.">".!.)<=.-**?.!0#@'.,,>4
.
.
3-+A!=:!=+B
7+4=.3B22.2*+,-.C'&"
D-E</.:2.-F3:0.2<=.2/C''"
G+=+
G+=+.</.-F3:0.2<=
3*-.3B22.,-G<+/.9-7:;<=8.C!0($
+48,3=:=<;.9-7:;<=8.C"0!'.,,>4
7:E"!.=+BC#0#'
-F3:0.2<=
3-+A.9-7:;<=8C"#0#!.,,>4
! "!!! #!!! $!!! %!!! &!!! '!!!!
#
%
'
(
"!
"#
"%
"'
"(
#!
)*+,-./0.1"!2345
6-+/.278.9-7:;<=8.1,,>45
?:3#3.,-+/.">".!.)<=.-**@.!0%A#.,,>4
.
.
3-+B!=:!=+C
7+4=.3C22.2*+,-.D'&"
E-F</.:2.-G3:0.2<=.2/D''"
?+=+
?+=+.</.-G3:0.2<=
3*-.3C22.,-?<+/.9-7:;<=8.D$0$%
+48,3=:=<;.9-7:;<=8.D"0$&.,,>4
7:F"!.=+CD$0"$
-G3:0.2<=
3-+B.9-7:;<=8D"#0#A.,,>4
!!!!"#$% !!!&'%$%(
)
$
*
+
,
-
.
/0123#
43&506!%73!%288!931'"5:;!<44=#>!!!%?(@(((
!!!!"#$% !!!&'%$%
+
-
A
)(
)$
)+
)-
)A
$(
/0123#
%30B!%'#:!%288!931'"5:;!<44=#>!!!%?(@+$C
!!!!"#$% !!!&'%$%
(
(@,
)
)@,
$
$@,
*
*@,
/0123#
0#;4%:':5"!931'"5:;!<44=#>!!!%?(@,$$
!!!!"#$% !!!&'%$%
$
$@,
*
*@,
/0123#
1'D)(!!!<8>!!!%?(@(((
!!!!"#$% !!!&'%$%
(
,(
)((
),(
$((
$,(
*((
/0123#
43&506!%73!%288!;!%'#5:5'6!<%5E>!!!%?(@((A
!!!!"#$% !!!&'%$%
(@,
)
)@,
$
$@,
*
*@,
+
+@,
E!)(+
/0123#
%'#:%288!&5#:@!:709313&!<44>!!!%?(@(((
Dankert
15/7/2007 03:03:55 PM
From images to behavior
x
y
t
Video stream
tracking
Trajectory
I(x, y, t) !x(t)
classification
eat
drink mate
Ethogram dynamics
t1
t2
10Mb/s 10kb/s 1b/s
(t1, b1) . . . (tN , bN )
‘Lunging’ (view from top)
Tussling
27
Chasing
[Dankert et al., Nature Methods, April 2009]
[Dankert et al., Nature Methods, April 2009]
Parametrization
Detection
a
w
f
d
Detection
Lunge
Chase
Wing threat
a
w
f
d
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
567803
95:1$
8;<67=!-;6->
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1$1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
95:1%1!1?.7810@-,
;.8>-1?.78
A<->1?.783
509-1?.78
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B>C3.78
95:1$
95:1%
!"!! !"#! $"!! $"#! %"!! %"#! #"!! #"#! &"!! &"#! '"!! '"#! ("!! ("#! )"!! )"#! *"!! *"#! +"!! +"#! $!"!!$!"#!$$"!!$$"#!$%"!!$%"#!$#"!!$#"#!$&"!!$&"#!$'"!!$'"#!$("!!$("#!$)"!!$)"#!$*"!!$*"#!$+"!!$+"#!!
!,%
!,&
!,(
!,*
$
-./012//"334
B<6;-3>.D
95:1$
95:1%
33
-/-, CG9733
Detection performance
[Dankert et al., Nature Methods, April 2009]
Detection performance
Phenotyping
[Dankert et al., in preparation]
Ethograms
[Dankert et al., Nature Methods, April 2009]
Hi-throughput setup
Walking arena
Accuracy
Motor behaviors
Male vs female Wild type vs fru/fru
[Branson et al. , Nature Methods, June 2009]
‘T-Stops’
‘T-Stops’
‘T-Stops’
‘T-Stops’
‘T-Stops’
‘X-Stops’
‘X-Stops’
‘X-Stops’
‘X-Stops’
‘Chicken’
‘Chicken’
‘Chicken’
‘Chicken’
‘Chicken’
‘Jousts’
‘Jousts’
‘Jousts’
‘Jousts’
‘Drag race’
‘Drag race’
What is the fly seeing?
[courtesy A. Straw]
What is the fly seeing?
[courtesy A. Straw]
Learning behaviors without supervision
What are they doing??
Dankert
15/7/2007 03:03:55 PM
Method
Dankert
15/7/2007 03:03:55 PM
Dankert
25/7/2007 03:07:21 PM
Method
Dankert
15/7/2007 03:03:55 PM
Dankert
25/7/2007 03:07:21 PM
Dankert
35/7/2007 03:10:46 PM
Method
!"#$"%&' !"#$"%&( !"#$"%&) !"#$"%&* !"#$"%&+ !"#$"%&, !"#$"%&- !"#$"%&.
!"#$"%&/ !"#$"%&'0 !"#$"%&'' !"#$"%&'( !"#$"%&') !"#$"%&'* !"#$"%&'+ !"#$"%&',
!"#$"%&'- !"#$"%&'. !"#$"%&'/ !"#$"%&(0 !"#$"%&(' !"#$"%&(( !"#$"%&() !"#$"%&(*
!"#$"%&(+ !"#$"%&(, !"#$"%&(- !"#$"%&(. !"#$"%&(/ !"#$"%&)0 !"#$"%&)' !"#$"%&)(
!"#$"%&)) !"#$"%&)* !"#$"%&)+ !"#$"%&), !"#$"%&)- !"#$"%&). !"#$"%&)/ !"#$"%&*0
!"#$"%&*' !"#$"%&*( !"#$"%&*) !"#$"%&** !"#$"%&*+ !"#$"%&*, !"#$"%&*- !"#$"%&*.
!"#$"%&*/ !"#$"%&+0 !"#$"%&+' !"#$"%&+( !"#$"%&+) !"#$"%&+* !"#$"%&++ !"#$"%&+,
!"#$"%&+- !"#$"%&+. !"#$"%&+/ !"#$"%&,0 !"#$"%&,' !"#$"%&,( !"#$"%&,) !"#$"%&,*
Centers & Covariances
58
Optimal No. of Clusters
59
! "! #! $! %! &! '! (! )!!)
!'
!%
!#
!*+"!
& ,-,./+/-0+/123/14--5+,6.178,39,
,-,./+/-0+/123/14--5+,6.17+:+,39,
7-;+-<+=/>9,369
+
+
! "! #! $! %! &! '! (! )!!;$#
!;$$
!;$%
!;$&
!;$'
,39,+8+,6.17+/123/14--5
,6.17
,39,
! "! #!!
!$%
&
'()*+,&
! "! #!!
!$%
&
'()*+,"
! "! #!!
!$%
&
'()*+,-
! "! #!!
!$%
&
'()*+,#
! "! #!!
!$%
&
'()*+,%
! "! #!!
!$%
&
'()*+,.
! "! #!!
!$%
&
'()*+,/
! "! #!!
!$%
&
'()*+,0
! "! #!!
!$%
&
'()*+,1
! "! #!!
!$%
&
'()*+,&!
! "! #!!
!$%
&
'()*+,&&
! "! #!!
!$%
&
'()*+,&"
! "! #!!
!$%
&
'()*+,&-
! "! #!!
!$%
&
'()*+,&#
! "! #!!
!$%
&
'()*+,&%
! "! #!!
!$%
&
'()*+,&.
! "! #!!
!$%
&
'()*+,&/
! "! #!!
!$%
&
'()*+,&0
! "! #!!
!$%
&
'()*+,&1
! "! #!!
!$%
&
'()*+,"!
! "! #!!
!$%
&
'()*+,"&
! "! #!!
!$%
&
'()*+,""
! "! #!!
!$%
&
'()*+,"-
! "! #!!
!$%
&
'()*+,"#
! "! #!!
!$%
&
'()*+,"%
! "! #!!
!$%
&
'()*+,".
! "! #!!
!$%
&
'()*+,"/
! "! #!!
!$%
&
'()*+,"0
! "! #!!
!$%
&
'()*+,"1
! "! #!!
!$%
&
'()*+,-!
! "! #!!
!$%
&
'()*+,-&
! "! #!!
!$%
&
'()*+,-"
! "! #!!
!$%
&
'()*+,--
! "! #!!
!$%
&
'()*+,-#
! "! #!!
!$%
&
'()*+,-%
! "! #!!
!$%
&
'()*+,-.
! "! #!!
!$%
&
'()*+,-/
! "! #!!
!$%
&
'()*+,-0
! "! #!!
!$%
&
'()*+,-1
! "! #!!
!$%
&
'()*+,#!
! "! #!!
!$%
&
'()*+,#&
! "! #!!
!$%
&
'()*+,#"
! "! #!!
!$%
&
'()*+,#-
! "! #!!
!$%
&
'()*+,##
! "! #!!
!$%
&
'()*+,#%
! "! #!!
!$%
&
'()*+,#.
! "! #!!
!$%
&
'()*+,#/
! "! #!!
!$%
&
'()*+,#0
Visited Clusters per Movie
60
! "!
#!!
$!!
%&'()*+,#
! "!
$!!
-!!
%&'()*+,$
! "!
#!!
$!!
%&'()*+,.
! "!
$!!
-!!
%&'()*+,-
! "!
#!!
$!!
%&'()*+,"
! "!
$!!
-!!
%&'()*+,/
! "!
#!!
$!!
%&'()*+,0
! "!
#!!
$!!
%&'()*+,1
! "!
"!
#!!
%&'()*+,2
! "!
$!!
-!!
%&'()*+,#!
! "!
#!!
$!!
%&'()*+,##
! "!
#!!
$!!
%&'()*+,#$
! "!
"!
#!!
%&'()*+,#.
! "!
"!!
#!!!
%&'()*+,#-
! "!
#!!
$!!
%&'()*+,#"
! "!
$!!
-!!
%&'()*+,#/
! "!
"!!
%&'()*+,#0
! "!
"!
#!!
%&'()*+,#1
! "!
$!!
-!!
%&'()*+,#2
! "!
#!!
$!!
%&'()*+,$!
! "!
$!!
-!!
%&'()*+,$#
! "!
$
-
%&'()*+,$$
! "!
#!!
$!!
%&'()*+,$.
! "!
"!
#!!
%&'()*+,$-
! "!
$!!
-!!
%&'()*+,$"
! "!
"!
#!!
%&'()*+,$/
! "!
"!
%&'()*+,$0
! "!
#!!
$!!
%&'()*+,$1
! "!
#!!
$!!
%&'()*+,$2
! "!
"!
#!!
%&'()*+,.!
! "!
#!!
$!!
%&'()*+,.#
! "!
$!!
-!!
%&'()*+,.$
! "!
#!!
$!!
%&'()*+,..
! "!
#!!
$!!
%&'()*+,.-
! "!
#!!
$!!
%&'()*+,."
! "!
#!!
$!!
%&'()*+,./
! "!
$!!
-!!
%&'()*+,.0
! "!
"!
#!!
%&'()*+,.1
! "!
$!!
-!!
%&'()*+,.2
! "!
"!!
%&'()*+,-!
! "!
"!
#!!
%&'()*+,-#
! "!
$!!
-!!
%&'()*+,-$
! "!
#!!
$!!
%&'()*+,-.
! "!
#!!
$!!
%&'()*+,--
! "!
$!!
-!!
%&'()*+,-"
! "!
#!!
$!!
%&'()*+,-/
! "!
#!!
$!!
%&'()*+,-0
! "!
"!
#!!
%&'()*+,-1
Visited Classes per Cluster
61
! "! #! $! %!!
#!
%!
&!
'!
"!!()*+,)-..+"
! "! #! $! %!!
#!
%!
&!
'!
"!!()*+,)-..+#
! "! #! $! %!!
#!
%!
&!
'!
"!!()*+,)-..+$
! "! #! $! %!!
#!
%!
&!
'!
"!!()*+,)-..+%
! "! #! $! %!!
#!
%!
&!
'!
"!!()*+,)-..+/
! "! #! $! %!!
#!
%!
&!
'!
"!!()*+,)-..+&
Visited Cluster per Class
62
Identify Mutants by Behavior?
!1 0 1 2 3 4 5!505
!2
!1
0
1
2
3
4TRAIN/TEST DATA (circles/squares) projected using Fisher Linear Discriminants
Fisher dimension 1Fisher dimension 2
Fis
her
dim
ensio
n 3
!1 0 1 2 3 4 5!1.5!1!0.500.511.522.53
!2
!1
0
1
2
3
4
Fisher dimension 1
TRAIN/TEST DATA (circles/squares) projected using Fisher Linear Discriminants
Fisher dimension 2
Fis
her
dim
ensio
n 3
!!/CG15745
!!/Hr38
!!/sr
!!/CG14186
!!/CG9733
w+
63
1 5 2 6 4 3
0.7
0.8
0.9
1
1.1
1.2
1.3
1.4
1.5
1.6
Dendrogram of distances
1 2 3 4 5 60
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2mean distance from i
i
dist
1 2 3 4 5 6
0.8
1
1.2
1.4
1.6
1.8
dist
i
Percentile distance from i
Behaviors that stand out
``Ethometrics’’(Automating the measurement of behavior)
• Reproducible results
• Explicit assumptions
• Definition of `behavior’
• Rare events
• Cost, boredom, throughput
• Antropomorphic pollution
• Serendipity?
Conclusions
• Tracking
• Expert-defined behaviors
• High-throughput screening
• Unsupervised discovery of behaviors
• Ethometrics
Collaborators
Kristin BransonHeiko Dankert
David Anderson Michael Dickinson
+John BenderClaudio FantiTim LebestkyAlice Robie
Andrew StrawAnne Hergarten
Liming Wang