principe d’évaluation des tests diagnostiques · 14/11/2013 6 s david tchouda / eval test diag /...

14/11/2013

1

Principed’évaluation des tests

diagnostiques

Dr Sandra DAVID TCHOUDA

Cellule d’évaluation médico-économique des innovation, [email protected]

S David tchouda / Eval test diag / P2 2013/2014 2

PlanObjectif et contexte de ces études visant à évaluer un test diagnostiqueRappel LCAPrincipe d’un test diagnostiquePerformance diagnostique d’un test / application pratique (EP)

Se, Sp, rapports de vraisemblance (RV)VPP, VPNNomogramme de Fagan : P(M) a priori et a postériori

Biais / précautions d’interprétationBiais de sélection, de classement et de publication,

Exemple de calculRéférence bibliographique

14/11/2013

2

Objectif et contexte de ce type d’étude


Mesurer la performance/ validité d’un « test » pour une maladie donnée :

critère intrinsèque : Sensibilité, spécificité, RV+, RV-, indice de YoudenRecherche d’un seuil (courbe ROC, aire sous la courbe)

critère extrinsèque : VPP, VPN

Le différencier de reproductibilité ou fiabilité(variabilité intra et inter laboratoire)Cout

Objectif de ces études

14/11/2013

3


Design d’étude

Le plus souvent, étude observationnelleCohorte Cas témoinsÉtude transversaleinterventionnelle si le test ne fait pas partie

de la pratique de soins courantePlus rarement, étude interventionnelle

Essai cliniqueTest rajouté à la pratique habituelle


Respect d’un continuum à cette recherche :1. Mise en évidence de l’association entre le test

(biologie, imagerie, génétique, SC…) et la maladieRecherche étiologique (étude de cohorte, cas témoins, …)

objectif préalable

2. Intérêt de ce test pour diagnostiquer la maladie ? Fiabilité / reproductibilité en 1er lieu

objectif préalablequalités diagnostiques du test (Se, Sp)

Validité interne

3. … Si test « satisfaisant », autres objectifs :Intérêt dans dépistage (stade pré symptomatique), Intérêt dans le pronostic de la maladie

Validité externe (VPP, VPN)

Contexte d’étude

14/11/2013

4

…Rappel LCA 24 objectifs pour l’ECN…


Rappel LCA (1) : quels objectifs ?

Critiquer un article pour modifier sa pratique… ou pas !

Implication +++Proposition de grille de LCA en santé

Support HAS janvier 2000grille de l’ECN en médecine :

LCA des articles épidémiologiques et en recherche clinique Contient 24 objectifs (ci-après)

14/11/2013

5


Rappel LCA (2) : grille ECN

IDENTIFIER1. l’objet d’un article médical scientifique parmi les

suivants : évaluation d’une procédure diagnostique, d’un traitement, d’un programme de dépistage, estimation d’un pronostic, enquête épidémiologique à l’exclusion des MA,

2. La question posée par les auteurs (hypothèses).


Rappel LCA (3) : grille ECN (suite)

ANALYSER LA METHODOLOGIEPopulation3. Identifier les caractéristiques de la population source /

cible,4. Analyser les modalités de sélection des sujets, critères

inclusion/exclusion5. Analyser la technique de randomisation, le cas échéant,6. Discuter la comparabilité des groupes soumis à la

comparaison,7. Discuter l’évolution des effectifs étudiés et leur

cohérence dans la totalité de l’article. Calcul du nombre de sujet fait a priori ?

14/11/2013

6



ANALYSER LA METHODOLOGIE (suite)Méthode8. S’assurer que la méthode employée est cohérente

avec le projet du travail et qu’elle est effectivement susceptible d’apporter « une » réponse à la question posée dans l’article,

9. Vérifier que les analyses statistiques (en fonction de notions élémentaires) sont cohérentes avec le projet du travail, connaitre les limites de l’analyse en sous- groupe, notion de perdus de vue (PDV),

10. Vérifier le respect des règles éthiques.



ANALYSER LA PRESENTATION DES RESULTATS

11. Analyser la présentation, la précision et la lisibilité des tableaux et des figures, leur cohérence avec le texte et leur utilité,

12. Vérifier la présentation des indices de dispersion(intervalle de confiance, valeurs extrêmes, quantiles, écart-types) permettant d’évaluer la variabilité des mesures / l’imprécision des estimations.

14/11/2013

7



CRITIQUER L’ANALYSE DES RESULTATS ET DE LA DISCUSSION

11. Discuter la nature et la précision des critères de jugement des résultats.

12. Relever les biais qui ont été discutés. Rechercher d’autres biais de classement et de sélection éventuels non pris en compte dans la discussion et relever leurs conséquences dans l’analyse des résultats.

13. Vérifier la logique de la discussion et sa structure. Reconnaître ce qui relève des données de la littérature et ce qui est opinion personnelle de l’auteur.



CRITIQUER L’ANALYSE DES RESULTATS ET DE LA DISCUSSION (suite)

14. Discuter la signification statistique des résultats.15. Discuter la pertinence clinique des résultats.16. Vérifier que les résultats offrent une réponse à la

question annoncée,17. Vérifier que les conclusions sont justifiées par les

résultats,18. Indiquer le niveau de preuve de l’étude (grille de l’HAS).

14/11/2013

8



EVALUER LES APPLICATIONS CLINIQUES21. Discuter la ou les applications potentielles /décisions

médicales auxquelles peuvent conduire les résultats et la conclusion de l’article

CRITIQUER LA FORME DE L’ARTICLE 22. Identifier la structure IMReD (Introduction, Matériels

et Méthodes, Résultats, Discussion) et s’assurer que les divers chapitres de la structure répondent à leurs objectifs respectifs

23. Faire une analyse critique de la présentation des références

24. Faire une analyse critique du titre


Rappel LCA (9) : en bref ?Argumenter :

Au début, en utilisant une grille d’aide à la LCA !

En utilisant vos connaissancesSur la structure des articles originaux en généralSur la méthodologie de l’article (objectif, exigences dans population, méthodes et résultats)

validité interneEn discutant la conclusion

« Ampleur » des résultatsPertinence clinique et statistiqueExtrapolation

validité externeReplacer l’étude dans son contexte

14/11/2013

9

Principe du raisonnement probabiliste


Raisonnement probabiliste (1)

Pourquoi en santé, raisonner sur des probabilités?

Parce que:Le signe clinique parfait pathognomonique ou l’examen complémentaire idéal (non couteux, non douloureux, non invasif…)

existe rarement…On est rarement en situation de certitude absolu

Le vivant n’est pas un théorème de maths démontrable…

14/11/2013

10


Raisonnement probabiliste (2)

Le but pour un médecin est de transformer une probabilité de maladie a priori

probabilité clinique défini avant l’information fournie par une exploration suppl.…

en une probabilité de maladie a posteriorien intégrant dans la démarche diagnostique l’information fournie par l’exploration !


Raisonnement probabiliste (3) :

Le raisonnement probabiliste fait partie de la démarche diagnostique :

1. Probabilité de M avant / après le recueil d’un signe clinique

2. Probabilité de M avant / après un examen paraclinique

Application à l’ embolie pulmonaire (EP)

14/11/2013

11


1/ Proba d’EP à la cliniqueCancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à 100 + 1.5 Immobilisation ou chirurgie dans le mois précédent + 1.5 Antécédent thromboembolique veineux + 1.5 Hémoptysie + 1 Absence d’alternative diagnostique + 3

Score < 2: probabilité faibleScore = 2 à 5: probabilité modéréeScore > 5: probabilité forte

Wells et al. Thromb Haemost 2000; 83: 416


D-dimère (ELISA)

Écho-doppler des MI

Angioscanner

2/ Proba d’EP

14/11/2013

12


Raisonnement probabiliste (4) : finalité en santé

Quand P(M) est estimée très forte (> 99 %) ou très faible (< 1 %)

on décide « malade » ou « non maladeon arrête les investigations

La démarche diagnostique est une suite d’évaluation de la probabilité d’une maladieintégrant des informations successives

Principe d’un test diagnostique

14/11/2013

13


Source d’information Clinique ou paraclinique

Utilisé dans une démarche de décision

But : réduire l’incertitude clinique

Test diag (1) : apport


Test diag (2) : définitionTout examen anamnestique, clinique ou paraclinique dont le résultat peut être analysé vis à vis d’un diagnostic supposé et exprimé en valeurs ordinales :

positif / négatifpositif / intermédiaire / négatiftrès forte probabilité / forte probabilité / probabilité intermédiaire / faible probabilité / très faible probabilitétransformation d’une variable continue

14/11/2013

14


Test diag (3) : principe

Test dg

maladie

Faux Positifs Vrai

Positifs Vrai Négatifs

Faux Négatifs

Calcul de la performance d’un test

14/11/2013

15


Un mot sur la reproductibilité

« Fiabilité » et « reproductibilité » sont synonymes. Un test reproductible est un test qui donne le même résultat sur un sujet,

quel que soit l’opérateur (reproductibilité inter opérateur) et quel que soit le moment où on l’applique (reproductibilité temporelle / intra opérateur).

Plus un examen est reproductible, plus il est fiable.

La reproductibilité se mesure avec le coefficient kappa(variabilité inter-opérateur ou intra-opérateur)

Ne pas confondre avec la validité du test qui est sa capacité à identifier la maladie (efficacité du test / performance) : Se, Sp, VP, RV, courbe ROC…


Performance (1)Caractéristiques « intrinsèques » : capacité informative

propres au test (ne dépendent pas de la prévalence)sensibilité, spécificité, rapports de vraisemblance(RV+, RV-)

Caractéristiques « extrinsèques » :caractéristiques intrinsèques + contexte utilisationprévalence (= probabilité pré-test)valeurs prédictives positive / négative (= probabilité post-test)

14/11/2013

16


Performance (2)Nécessite d’être «comparé» au test de référence (gold standard) qui définit les malades et les non maladesElaboration d’un tableau de contingence


Application pratique du cours : l’EP

La question : valeur prédictives de l’EPpar les « D dimères »?

Performance diagnostique des D DimèresCas du critère binaire (seuil D dimères patho ≥ 500 µg/L)Cas du critère quantitatif

14/11/2013

17

Se et Sp


Sensibilité et Spécificité

( ) ( )FPVNVNMTPSp+

=−−= /

Gold standardRésultats du test

Malades (M+) Non malades (M-)Test positif (T+) VP FPTest négatif (T-) FN VNTotal (VP+FN) (FP+VN)

( ) ( )FNVPVPMTPSe+

=++= /

14/11/2013

18


Se ≈ 1 : test très sensible/ dg «d’exclusion»test toujours positif (T+) chez les sujets malades

(M+) existence de FP ?⇒ la négativité du test (T-) écarte la maladie (M-)

EP

oui non

D-dimer ≥ 500µg/L 195 278D-dimer < 500µg/L 1 197Total 196 475

( ) ( ) %5.991195

195/ =+

=++= MTPSe


Sp ≈ 1 : test spécifique/ dg de «confirmation»test toujours négatif (T-) chez les sujets sains (M-)

existence de FN ?⇒ sa positivité (T+) est pathognomonique de la maladie (M+) EP

oui non

D-dimer ≥ 10,000µg/L 20 2D-dimer < 10,000µg/L 176 473Total 196 475

( ) ( ) %6.992473

473/ =+

=−−= MTPSp

14/11/2013

19

Rapports de vraisemblance


Rapports de vraisemblance : définition

Regrouper la sensibilité et la spécificité du test en un seul indicateur, le rapport de vraisemblance

LR+ = P(T+/M+)/P(T+/M-)

Capacité du T+ à distinguer les M des nonM…coefficient multiplicateur de la probabilité a priori de la maladie

14/11/2013

20


Rapports de vraisemblance : calcul

( )( ) Sp

SeMTPMTPLR

−=

−+++

=+1/

/ ( )( ) Sp

SeMTPMTPLR −

=−−+−

=−1

//


Malades (M+)

Non malades (M-)

Test positif (T+)

VP FP

Test négatif (T-)

FN VN

Total


RV positif : interprétation

( )( ) ( ) ( ) 70.1

414.01995.0

1//

=−

=−

=−+++

=+Sp

SeMTPMTPLR

D-dimère ≥ 500 µg/L

LR+ = (VP/M+) / (FP/M+)Interprétation : les DD sont « quasi 2 fois plus souvent positifs chez les M par rapport aux nonM »Le test est d’autant plus informatif que LR+ >>1 (bon test > 5-10 selon la communauté scientifique)

14/11/2013

21


RV négatif : interprétation

« LR- = 0.01 » signifie que les DD sont « 100 fois moins souvent négatifs chez les M par rapport aux nonM »Le test est d’autant plus informatif que LR-proche de 0 (FN / VN)

( )( )

( ) ( ) 01.0414.0

995.011//

=−

=−

=−−+−

=−Sp

SeMTPMTPLR

D-dimer < 500 µg/L

Application à l’EP pour l’utilisation des RV

14/11/2013

22


Application à l’EP

Probabilité a prioriImplicite (raisonnement non formel du médecin par expérience)Explicite (règle prédictive : score de Wells)

Prévalence(EP) a priori


Rappel : score clinique de WellsCancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à 100 + 1.5 Immobilisation ou chirurgie dans le mois précédent + 1.5 Antécédent thromboembolique veineux + 1.5 Hémoptysie + 1 Absence d’alternative diagnostique + 3

Score < 2: probabilité faibleScore = 2 à 5: probabilité modéréeScore > 5: probabilité forte

Wells et al. Thromb Haemost 2000; 83: 416

14/11/2013

23


D-dimère (ELISA)

Rappel : D DIMERE

RV- = 0.01


Rapport de vraisemblance (+) de l’angioscanner thoracique spiralé

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Pre-test probability

Post

-test

pro

babi

lity Rapport de

vraisemblance positif: 24.1

Roy et al. BMJ 2005

14/11/2013

24


Diagramme de Fagan

Scanner : LR+= 24.1

D Dimère : LR- = 0.01


Synthèse interprétation RV

Coefficient multiplicateur de P(M)

Interprétation RV+: un sujet a « RVP fois » plus de risque d'avoir un test positif s'il est atteint de la maladie étudiée que s'il n'est pas atteint de la maladie.Interprétation RV-: un sujet a « RVN fois » moins de risque d'avoir un test négatif s'il est atteint de la maladie étudiée que s'il n'est pas atteint de la maladie.

14/11/2013

25

Prev (M)et valeurs prédictives

(VPP et VPN)dans le cas d’une cohorte


Probabilité a priori : Prévalence

( )01

1/Prévalencemm

mTotalMP

+=+=


Malades (M+) Non malades (M-)

Test positif (T+) VP FPTest négatif (T-) FN VN

Total m1 m0

14/11/2013

26


Ex : prévalence de l’EP

( ) ( ) %29475196

196/Prévalence =+

=+= TotalMP

EP

oui non



Probabilité a posteriori (+) : VPPGold standard

Résultats du test


Test positif (T+) VP FP

Test négatif (T-) FN VN

Total (VP+FN) (FP+VN)

( ) ( )FPVPVPTMPVPP+

=++= /

14/11/2013

27


Pulmonary Embolism

Yes No


Se = 0.995 et Sp = 0.414Prévalence = 196 / 671 = 29%VPP= 195 / 473 = 41%

Variation de la VPP en fonction de la prévalence (1)


Pulmonary Embolism

Yes No


Se = 0.995 et Sp = 0.414 Prévalence = 196 / 4946 = 4%VPP= 195 / 2975 = 6.5%

Variation de la VPP en fonction de la prévalence (2)

14/11/2013

28


Probabilité a posteriori (-) : 1-VPNGold standard

Résultats du test





( ) ( )FNVNVNTMPVPN+

=−−= /


Interprétation VP (1)

on sait que la VPN augmente quand la P[M] diminue et inversement pour la VPP.

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00

Prévalence

VPPVPN

les VP impose de ne parler que de la population concernée.

14/11/2013

29


Interprétation VP (2)

VPP = Prev*Se / [(Prev *Se) + (1-Prev)*(1-Sp)]= P(M/T+) si cohortedénominateur VPP = % de tests positifs

VPN = (1-Prev)*Sp / [(1-Prev)*Sp + (Prev)*(1-Se)]= P(nonM/T-) si cohorte

si la Sp tend vers 1 la VPP tend vers 1(diagnostic de confirmation quand T+)

si la Se tend vers 1 la VPN tend vers 1(diagnostic d’exclusion quand T-)


Interprétation VP (3)VPP

A Se égale, la VPP croit avec P(M) et décroit avec le % de tests positifs (dénom. VPP).A Se égale, la VPP d'un test est donc

d'autant plus forte que la maladie est fréquente ET le test rarement positif.

VPNA Sp égale, la VPN d'un test sera d'autant

meilleure que la maladie est rare ET que la positivité du test est fréquente (i.e. test rarement négatif ).

14/11/2013

30

Cas du critère quantitatif


Cas d’un test quantitatifQuel seuil adopter ?

Gold standard

Résultats du test





?

14/11/2013

31


effectif

0

10

20

30

40

50

60

7010

0

200

300

400

500

600

700

800

900

1000

2000

3000

4000

5000

6000

7000

8000

9000

1000

0

>=10

000

PE = noPE = yes

Seuil ≥ 100 µg/L D-dimer (µg/L)


Seuil ≥ 100 µg/L

Pulmonary Embolism

Yes No


Se = 1 et Sp = 0.01

14/11/2013

32


effectif

0

10

20

30

40

50

60

7010

0

200

300

400

500

600

700

800

900

1000

2000

3000

4000

5000

6000

7000

8000

9000

1000

0

>=10

000

PE = noPE = yes

Seuil ≥ 500 µg/L D-dimer (µg/L)


Seuil ≥ 500 µg/L

Pulmonary Embolism

Yes No


Se = 0.995 et Sp = 0.414

14/11/2013

33


D-dimer ≥ Se Sp100 100 1.1200 100 13.7300 100 24.8400 99.5 34.9500 99.5 41.4600 95.4 49.9… … …

Courbe ROC (Receiver Operating Characteristics)


Courbe ROC AUC (area under curve) = 1 si test parfait (Se=1 et Sp=1)AUC = 0,5 si test non discriminant (courbe ROC = diagonale)

95% CI [0.84-0.90]

100500

1000

1-Sp= FP

14/11/2013

34


Conclusion… pratique

?Moyens diagnostiques EP…

… nouveau test tests diag à évaluer ?

Biais / Précautions d’interprétation

14/11/2013

35


1. Biais de sélection (1)

Biais de sélection : la population étudiée ne correspond pas à celle que nous prenons en charge

Patients aux caractéristiques différentesPanel de patients insuffisamment variéPrévalence de la M plus basse ou plus élevée


1. Biais de sélection

Performance modifiéeSurestimation des propriétés « intrinsèques »

potentielles (i.e. phase symptomatique M)Sur(sous)estimation des valeurs des VP en fonction de la prévalence

Extrapolation limitée des résultats : estimations non extrapolables à la pratique

courante pour laquelle le test est développé

14/11/2013

36


2. biais de classement (1)

Biais d’exclusion/ biais de suivi : au fil de l’étude, la population étudiée ne correspond plus à celle que nous prenons en charge (PDV)

Biais de subjectivité de l’enquêteur / biais d’évaluation / biais d’interprétation

Pour l’éviter, la lecture du test doit être Aveugle et/ou indépendante de l’examen de référence (R)



les biais d’évaluation sont souvent investigateur dépendant :

Expérience du praticien (théorie)habitudes du praticien (caractéristiques en

pratique réelle : pragmatique)

Pour les éviter, on peut :Standardiser le recueil

14/11/2013

37



Biais de vérification : gold standard imparfait Pour l’éviter le gold standard doit être :

Le plus « parfait » possibleexhaustif : réalisé chez tout le monde

Biais d’incorporation : le test est inclus dans gold standard (perte d’indépendance)


3. biais de publication

Biais de publication : Les résultats de l’étude sont regroupés avec d’autres études publiées et seules les études avec des résultats probants ont été publiées.

majoration des performances possible ?

14/11/2013

38

6. Exemple de calculApplication en santé


Evaluation de la valeur diagnostique du dosage radio-immunologique des phosphatases acides dans le dépistage du cancer de la prostate

Étude de cohorteT+ si dosage > 8,0 mg /0,1 ml

Cancer Pas cancer

Test + 75 30 105

Test - 40 210 250

115 240 355

14/11/2013

39


calcul Cancer Pas cancer

Test + 75 30 105Test - 40 210 250

115 240 355Se = P [T+/M+] = 75/115 = 65,2%Sp = = P [T-/M-] = 210/240 = 87,5%

VPP = P [M+/ T+] = 75/105 = 71,4%VPN = = P [M-/ T-] = 210/250 = 84%

RV+ = P [T+/M+] / P [T+/M-] = 5,2RV- = P [T-/M+] / P [T-/M-] = 0,40

7. Références bibliographiques

14/11/2013

40


Pour en savoir plus

Delacour H. et al. Critères d’évaluation de la validité d’un test biologique. Revue francophone des laboratoires 2009;39(412):41-48. Knottnerus J.A. et al. Evaluation of diagnostic procedures. BMJ. 2002 February 23; 324(7335): 477–480 F Doyon et al. Evaluation des méthodes diagnostiques.J Radiol. 2001 Feb;82(2):117-25.

Site internet du CNCI (conseil Scientifique de médecine), onglet « épreuve de Lecture critique d’article (objectifs pédagogique, glossaire, exemples, annales ) http://www.cnci.parisdescartes.fr/medecine/

principe d’évaluation des tests diagnostiques · 14/11/2013 6 s david tchouda / eval test diag /...

Documents