zone de rejet et scoring
DESCRIPTION
Zone de rejet et scoring. Introduction. Classifieur permet de décider Quelle est la qualité de cette décision? Exemple: Règle de Bayes dit « X est Malade » Et vous?. Autre exemple. Classifieur voiture/vélo. Décision (c’est la forme voiture). classifieur. x. Donnée (vecteur forme). - PowerPoint PPT PresentationTRANSCRIPT
Zone de rejet et scoring
Introduction
Classifieur permet de décider Quelle est la qualité de cette décision?
Exemple:
Règle de Bayes dit « X est Malade »
Et vous?
4999.0
5001.0
XPasMaladeP
XMaladeP
Autre exempleClassifieur voiture/vélo
classifieurx xVéloP
xVoitureP
Décision (c’est la forme voiture)
Donnée(vecteur forme)
Cadre de discernement: C={Voiture,Vélo}
Vecteur forme(vecteur de caractéristiques)
Décision: x est une voiture
05.0
95.0
xVéloP
xVoiturePclassifieurx
x
85.0
15.0
xVéloP
xVoitureP
Décision: x est un vélo
classifieurx
x
40.0
60.0
xVéloP
xVoitureP
Décision: x est une voiture!!!
classifieurx
x
Rappel : cadre de discernement: C={Voiture,Vélo}
Introduction de la notion de rejet Rejet d’ambiguïté Rejet en distance
Un peu de prudence dans un monde d’incertitude !
Règle de décision classique
Cas paramétrique– On connaît les ddp
Règle de décision classique (Bayes)
iyxp
Exemple
Bonne classification = 88,5%
Décision
réalité
Décision
réalitéerreur
x x’
Exemple (suite)
xclassePMême problème vu du côté
Décision
réalité
Décision
réalité
Règle de décision avec rejet
Cas paramétrique– On connaît les ddp iyxp
Règle de décision avec rejet (Chow, 1957)
d0 : rejet du résultat du classifieur : seuil de rejet
dens
itée
et lo
i à p
oste
riori
classe 0classe 1classe 0classe 1
Rejet d’ambiguité
sinon rejet
P si
P si
2/1)(100
2/1)(11
)(A
A
xrxy
xrxy
xD
Définition : règle de décision du maximum a posteriori (MAP)
1/2
1
A
xclasse 0 rejet classe 1
Règle de Chow
Loisa posteriori
densités
Exemple de rejet avec A=0,75
Bonne classification = 94,5% ; points rejetés = 15,2%
0.75
Exemple de rejet avec A=0,75
classepclassexpMême problème vu du côté de la distribution
Exemple de rejet avec A=0,85
Bonne classification = 96,3% ; points rejetés = 24,2%
0.85
Exemple de rejet avec A=0,85
classepclassexpMême problème vu du côté de la distribution
Exemple de rejet avec A=0,89
Bonne classification = 98,5% ; points rejetés = 43,0%
0.89
Exemple de rejet avec A=0,89
classepclassexpMême problème vu du côté de la distribution
Exemple de rejet avec A=0,99
Exemple de rejet avec A=0,9
Exemple de rejet avec A=0,8
Exemple de rejet avec A=0,6
Exemple de rejet avec A=0,51
Extension de la notion de rejet
Rejet précédent = rejet d’ambiguïtéMais…
?
Rejet en distance
Rejet en distance
Règle de décision avec rejet d’ambiguïté et de distance
(Dubuisson, 1990)
D : rejet du résultat du classifieur si le point x appartient à une zone éloignée des zones « usuelles » des classes.Cd: seuil de rejet en distanced0 : résultat du classifieur : seuil de rejet d’ambiguïté
dens
itée
et lo
i à p
oste
riori
classe 0classe 1classe 0classe 1
1/2
1
A
x
rejet de distance classe 0 rejet classe 1 rejet de distance
SiD = 0 et A = .5 :
règle du MAP (Bayes pour le coût 0-1)
ambiguïtéd' rejet sinon 0 classe P si
1 classe P si
: sinon
distance de rejet P si D
2/1)(10
2/1)(1)(
A
A
xrxy
xrxy
x
xD
D
Rejet en distance
Loisa posteriori
densités
Exemple
A=0,75 ; Cd = 0,025
0.025
Exemple
A=0, 85 ; Cd = 0,025
Exemple
A=0, 85 ; Cd = 0,025
Mesure de performances etqualité de l’utilisation du rejet
Comment mesurer les performances d’une règle de décision ?
• Matrice de confusion, intervalle de confiance Exemple:
• Courbe ROC : performances vs. rejet
Matrice de confusion :vérité
1 2
prévi-sion
1 204 54
2 19 55
Probabilité d'erreur estimée : (54+19)/332=0.22=pIntervalle de confiance à 95 % : [0.18, 0.27]
Courbe ROC
Courbe ROCLes courbes ROC (Receiver Operating Characteristic) permettent d'étudier les variations de la spécificité et de la sensibilité d'un test pour différentes valeurs du seuil de discrimination. Le terme de courbe ROC peut être envisagé comme une "courbe de caractéristiques d'efficacité".
La courbe ROC est avant tout définie pour les problèmes à deux classes (les positifs et lesnégatifs), elle indique la capacité du classifieur à placer les positifs devant les négatifs. Elle met en relation dans un graphique les taux de faux positifs (en abscisse) et les taux de vraispositifs (en ordonnée).
Courbe ROC
Matrice de confusion
Courbe ROC
Courbe ROCPerformances d'un classifieur (sur les points non rejetés)en fonction du pourcentage de points rejetés
+
+