clusterverfahren – bewährte statistische technik und basis...

Copyright © 2004, SAS Institute Inc. All rights reserved.

Clusterverfahren – bewährte statistische Technik und Basis für Data Mining AnalysenDr. Reinhard StrübySAS DeutschlandBusiness Competence Center Analytical Solutions

2

Cluster-Techniken mit SASVariable Selection

VARCLUS

Plot DataPRINCOMP,MDS,CANDISC

PreprocessingACECLUS

‘Fuzzy’ ClusteringFACTOR Discrete Clustering

Hierarchical ClusteringCLUSTER Optimization Clustering

Parametric ClusteringFASTCLUS

Non-Parametric ClusteringMODECLUS

3

Divisive ClusteringPROC VARCLUS nutzt Divisive Clustering um Untergruppen von Variablen zu bilden, die sich möglichst stark unterscheiden.

4

Variablen-Reduktion

PROC VARCLUS reduziert Variable, nicht Dimensionen.

5

Eigenwerte und Eigenvektoren

x1

x2

λ2

λ1

w2

w1

6

Perfekte Lösung

Qualität der Cluster-Lösung

Typische Lösung

Keine Lösung

7

Wahrscheinlichkeit der Clusterzugehörigkeit

Frequency

Gegeben durch die relativen Cluster-Häufigkeiten jeKlasse:

Probability

8

Die Chi-Quadrat Statistik

∑∑−

=i j ij

ijij

expected) expected observed( 2

2λ

The chi-square statistic (and associated probability)• Prüft auf Assoziation• Abhängig vom Stichprobenumfang• Mißt nicht die Stärke der Assoziation

9

Beurteilung der Stärke der Assoziation

WEAK STRONG0 1

CRAMER'S V STATISTIC

)1,1min(/V sCramer'

2

−−=

crnχ

Cramer’s V nimmt Werte von -1 bis 1 für 2x2-Tabellen an, Werte von 0 bis 1 sonst.

10

Das Standardisierungsproblem

Standardisierung kann Gruppendifferenzen mildern.

vorher nachher

11

Die Prozedur STDIZEAllgemeine Form:

PROC STDIZE METHOD=method <options>;VAR variables;

RUN;

PROC STDIZE METHOD=method <options>;VAR variables;

RUN;

12

Approximate Covariance Estimation forClustering (ACECLUS)

Viele Clustermethoden arbeiten gut mit näherungsweise sphärischen Clustern. Sie sind nicht optimal für irregulär geformte Cluster.

Wenn man die Inner-Cluster-Covarianzmatrix kennen würde, könnten Daten so transformiert werden, dass mehr sphärisch geformte Cluster entstehen !

Da die Cluster nicht bekannt sind, kann die Kovarianzmatrix je Cluster nicht direkt berechnet werden.

Aber es gibt Schätzmethoden: Prozedur ACECLUS (ApproximateCovariance Estimation for Clustering).

13

Die Prozedur ACECLUS

Starte mit einer Matrix A als Anfangsschätzung.Berechne die inverse Matrix M=A-1.Berechne A neu durch:

4. Wiederhole 2 und 3 bis sich die Schätzung stabilisiert.

( )( )

∑∑

∑∑

=

−

=

=

−

=

−−= n

i

i

hih

n

i

i

hhkikhjijih

jk

d

xxxxda

2

1

1

2

1

1

2

14

Hierarchical Clustering

15

The CLUSTER ProcedureGeneral form of the CLUSTER procedure:

PROC CLUSTER METHOD=name <options>;COPY variables;VAR variables;

RUN;

PROC CLUSTER METHOD=name <options>;COPY variables;VAR variables;

RUN;

16

The TREE ProcedureGeneral form of the TREE procedure:

PROC TREE OUT=SAS-data-set <options>;COPY variables;

RUN;

PROC TREE OUT=SAS-data-set <options>;COPY variables;

RUN;

17

Average LinkageDer Abstand zweier Cluster ist der mittlere Abstand von Beobachtungspaaren.

( )∑ ∑∈ ∈

=K LCi Cj

jiLK

KL xxdnn

D

,1Cluster KCluster K

Cluster LCluster L

d(xi,xj)

18

Centroid Linkage

2LKKL xxD −=

Der Clusterabstand ergibt sich aus dem quadriertenEuclidischen Abstand der Clustercentroids.

X

XDKL

Cluster KCluster K

Cluster LCluster L

19

Maximaler Abstand von Beobachtungspaaren

Complete Linkage

Cluster KCluster K

Cluster LCluster L

DKL

),( max max K jiLKL xxdCjCiD ∈∈=

20

42KLJLJK

JMDDDD −

+=

Median Linkage

DJK

DJL

Cluster JCluster J

DKL

Cluster KCluster K

Cluster LCluster LCluster MCluster M

Mittlerer Abstand zwischen externem Cluster J und jedem der Komponentencluster (CK and CL), minus ¼des Abstandes zwischen den Komponentenclustern.

21

Minimaler Abstand zwischen Beobachtungspaaren.

Single Linkage

DKL

Cluster KCluster K

Cluster LCluster L

),( min min K jiLKL xxdCjCiD ∈∈=

22

⎟⎟⎠

⎞⎜⎜⎝

⎛+

−=

LK

LKKL

nn

xxD

11

2

Ward’s Minimum-Variance

ANOVA

ANOVA

Ward’s Methode nutzt ANOVA um in sich homogeneCluster mit maximaler Trennkraft zu finden.

23

k-Means Clustering: 3-Schritt-VerfahrenWahl der Anfangscluster (Centroids).Einlesen der Beobachtungen und Update der Cluster-

Zentren.Schritt 2 wird wiederholt bis die Verschiebungen der

Clusterzentren klein werden.

Jede Beobachtung wird dem nächstgelegenenClusterzentrum zugeordnet. Dadurch entstehen die Endcluster.

24

X

XX

X

X

XX X

XX

XX

X

XX X

X

XX

X

XX XX

XX

X

… TimenTime0 Time1

MAXITER OptionDie MAXITER Option adjustiert die Centroids simultan, nachdem alle Beobachtungen eingelesen wurden.

25

X

XX

X

X

XX X

XX

XX

X

X

XX X

X

XX

X

XX XX

X

…Time0 Time1 Time2

DRIFT OptionDie DRIFT Option adjustiert den nächstgelegenenCentroid, wenn Beobachtungen hinzukommen.

26

The FASTCLUS ProcedureGeneral form of the FASTCLUS procedure:

PROC FASTCLUS <MAXC= | RADIUS=><options>;VAR variables;

RUN;

PROC FASTCLUS <MAXC= | RADIUS=><options>;VAR variables;

RUN;

27

Sarle’s Cubic Clustering Criterion

Das cubic clustering criterion (CCC) testet die Hypothesen:

H0 = Die Daten stammen aus einerGleichverteilung in einem Unterraum

H1 = Die Datenstammen aus einer Mischung von multivariaten Normalverteilungen mit gleichenVarianzen und gleichen Gewichten.

Positive Werte sprechen für mehr Struktur in den Daten alsunter Normalverteilung zu erwarten wäre.

( ) 2.122

2

)(001.02

*

1)(1lnCCC

RE

np

RRE

+⎥⎦

⎤⎢⎣

⎡−

−=

28

CCC soll maximiert werden:

Empfohlene Lösung

29

Die Pseudo F-Statistik

Die Pseudo F-Statistik (PSF) mißt die Separation zwischen Clustern zu einem erreichten Hierarchielevel.

Sie ist nicht F-verteilt.

( )

( )gn

g

g

j ciki

n

ii

k

−⎟⎟⎠

⎞⎜⎜⎝

⎛−

−⎟⎠

⎞⎜⎝

⎛−

=

∑∑

∑

= ∈

=

/

1/PSF

1

2

1

2

xx

xx

30

Pseudo F soll ebenfalls maximiert werden:

Empfohlene Lösung

31

Scoring nach FASTCLUS-Berechnungen1. Rechne eine Clusternanalyse und speichere die Centroide.

2. Lade die gespeicherten Centroide und score neueDaten.

PROC FASTCLUS OUTSTAT=centroids;PROC FASTCLUS OUTSTAT=centroids;

PROC FASTCLUS INSTAT=centroids OUT=scored;PROC FASTCLUS INSTAT=centroids OUT=scored;

32

proc fastclus data=temp maxc=3 least=2maxiter=5 out=clusout outstat=centroids;

var &inputs;run;proc fastclus data=sbankte instat=centroidsleast=2 out=scored;

var &inputs;run;

Berechnen einer k-Means Cluster-Lösung und Scoring neuer Daten

33

Scoring nach hierarchischer Clusterung1. Hierarchische Clusteranalyse

2. Cluster-Zuordnungen

(Continued)

PROC CLUSTER METHOD=method OUTTREE=tree;RUN;

PROC CLUSTER METHOD=method OUTTREE=tree;RUN;

PROC TREE DATA=tree OUT=out N=nclusters;RUN;

PROC TREE DATA=tree OUT=out N=nclusters;RUN;

34

Scoring nach hierarchischer Clusterung3. Berechnung der Clustercentroide

4. Einlesen der Centroide und Scoring

PROC MEANS DATA=out;OUTPUT OUT=centroids;

RUN;

PROC MEANS DATA=out;OUTPUT OUT=centroids;

RUN;

PROC FASTCLUS DATA=new MAXC=nclustersSEED=centroids MAXITER=0 OUT=scored;

RUN;

PROC FASTCLUS DATA=new MAXC=nclustersSEED=centroids MAXITER=0 OUT=scored;

RUN;

35

proc cluster data=distances method=ward pseudo outtree=tree;

var dist:; copy &inputs invest;run;

proc means data=treeout noprint;class cluster;var &inputs; output out=centroids mean=;

run;

proc fastclus data=sbankte seed=centroids maxc=3 maxiter=0out=scored noprint;

var &inputs;run;

Scoring nachhierarchischer Clusterung

Copyright © 2004, SAS Institute Inc. All rights reserved. 36Copyright © 2003, SAS Institute Inc. All rights reserved.