riqasriqasconnect.randox.com/riqas/documents/fr-eval.pdfevaluation of performance fra.doc 1/19 form...

Evaluation of Performance fra.doc 1/19 FORM NO. 8404-RQ

REVISION (3) 8 JUN 16

RIQAS Évaluation Externe de la Qualité

Ce document est un guide destiné aux participants des programmes d’Evaluation Externe de la Qualité quantitatifs RIQAS, maintenant certifiés ISO 17043. 1. Critères de performance acceptables Les critères de performance RIQAS sont évalués grâce à une combinaison de calculs :

Target Score RIQAS, Index d’Ecart-Type, (Z score) et Pourcentage de déviation (Biais).

Ces différents critères permettent d'évaluer les performances, comme suit :

Target Score supérieur à 50 SDI (Z-score) inférieur à ±2 %DEV (Biais) compris dans les Limites Acceptables « acceptable limits »

En cas de mauvaise performance, un triangle rouge apparaît sur la page de résumé. Les exemples de comptes-rendus utilisés dans ce document sont extraits du Programme Urine Humaine RIQAS. Pour de plus amples informations sur les comptes-rendus RIQAS, demandez une brochure explicative RIQAS ou contactez le support scientifique RIQAS. 2. Moyenne de comparaison

Vos résultats sont évalués par comparaison avec la moyenne de comparaison basée sur le consensus. Les participants sont inscrits à un programme en fonction des paramètres, méthodes, instruments, unités, température et numéro de plaque de génération pour les automates Ortho. Pour un échantillon et un paramètre donné, les résultats envoyés sont comparés à une moyenne de comparaison afin de générer des statistiques. La moyenne de comparaison est déterminée par le groupe Instrument/Méthode, Méthode ou Toutes méthodes selon le nombre de rendus résultats. Au moins 5 résultats sont nécessaires pour générer une moyenne de comparaison comme convenu par le Comité Scientifique RIQAS. S’il y’a moins de 5 résultats, celui-ci sera comparé à la moyenne de votre groupe Méthode. S'il y a moins de 5 résultats dans votre groupe Méthode, votre résultat sera comparé à la moyenne de Toutes méthodes. Quelques exceptions sont à noter :



a) Les enzymes sur les programmes Chimie clinique, Cardiaque et Urine Humaine : seules les moyennes Instrument/Méthode sont utilisées comme moyenne de comparaison

b) Les participants Ortho Vitros sont comparés à leur Génération, si possible, puis par méthode et enfin par la moyenne Toutes méthodes.

c) Les dosages qui ne peuvent pas être comparés à une moyenne de comparaisons Toutes méthodes, notamment les dosages immunologiques et hématologiques.

3. Calcul de la moyenne de comparaison, écart type et exclusion des valeurs aberrantes

Les résultats sont entrés dans la base de données RIQAS, afin de générer des statistiques, avant que les valeurs aberrantes ne soient désactivées manuellement. La moyenne et l’écart type (SD) sont calculées pour chaque groupe Instrument/Méthode, Méthode et Toutes méthodes ; les valeurs aberrantes sont exclus selon la table de Chauvenet. La moyenne et l’écart type sont alors recalculés, la table de Chauvenet est à nouveau utilisée. Enfin, 95% des valeurs sont conservées pour l’étude statistique. Si votre résultat est hors plage, il sera alors exclu. 4. Section Texte

En haut à gauche de chaque page du compte-rendu, la section Texte résume les points suivants :

o Le paramètre et l'unité dans laquelle le résultat est envoyé, o Votre résultat, o La moyenne de comparaison choisie, o Vos performances : SDI (Z Score), Target Score et % DEV (Biais), ainsi que leurs moyennes

cumulées (RMSDI, RMTS, RMDEV) o Les limites acceptables, Erreur Totale acceptable issue de ‘Biologic Variation’ (Ricos et al.) à

titre purement informatif o Les limites de performance acceptables RIQAS (par défaut la TDPA RIQAS, et limites

présentes dans le graphique « % de déviation par échantillon », voir section 9.2), Bien qu'il ne soit pas illustré ci-dessous, un espace est également prévu pour indiquer si vos performances dépassent les critères acceptables (voir section 1). Un autre espace permet également d'indiquer les valeurs de référence de la méthode (programme Chimie), les valeurs pondérées (programme Médicaments) ou d'autres informations importantes, si nécessaire.



5. Histogramme

Un histogramme permet de visualiser votre résultat par rapport aux différents groupes de pairs. De plus, il donne la répartition des résultats de ces différents groupes. Le triangle exprime la position de votre résultat.



6. Résumé des statistiques multi-méthodes

Ce tableau comporte la moyenne, l’écart-type et le CV des autres groupes de pairs participant au programme.

7. Calcul du Target Score Ce système a été développé afin de fournir une interprétation très simple des performances du laboratoire. Il est présent pour tous les échantillons et permet de visualiser l'évolution des performances au cours du temps. Le résultat est calculé en pourcentage de déviation par rapport à la moyenne de comparaison. Cette déviation est alors comparée à la déviation cible pour calculer le TS. L’avantage de cet indicateur est qu’il prend en compte la variabilité du paramètre dans la notation de la performance. 7.1. Définition et description La différence entre le résultat et la moyenne de comparaison est convertie en TS selon la formule mathématique suivante :

TS = log10 3,16 x TDPA x 100 % DEV

Où : TDPA = Déviation cible d'évaluation de performance (%) % DEV = Votre déviation par rapport à la moyenne de comparaison (%), soit le biais

%DEV = (Votre résultat - Moyenne de comparaison) x 100 Moyenne de comparaison Plus votre %DEV est inférieur par rapport à la TDPA, plus votre Target Score est élevé. Les Target Scores se situent entre 10 et 120 et sont interprétés comme suit :

inférieur à 40 Inacceptable 41 - 50 Amélioration nécessaire 51 - 70 Acceptable 71 - 100 Bon

101 - 120 Excellent



7.2. Déviation cible d'évaluation de la performance (TDPA) Les déviations cibles d'évaluation de performance visent à encourager les participants à obtenir des performances acceptables et à les conserver. Elles tiennent compte de toutes les sources de variation possibles, y compris l'homogénéité et la stabilité de l'échantillon (conformément aux normes ISO/IEC17043, ISO13528 et IUPAC). La TDPA est définie de sorte que 10 % des laboratoires obtiennent des Target Scores inférieur à 50. Cependant, selon l'homogénéité et la stabilité, les TDPA peuvent être ajustées afin que la variabilité de l'échantillon ne nuise pas aux performances des participants. Lorsque votre % DEV est égal à la déviation cible d'évaluation de performance (TDPA), votre Target Score est de 50. Chaque année, RIQAS analyse les déviations cibles d'évaluation de performance validée par le Comité Scientifique RIQAS. 7.3. Target Score moyen (RMTS) Il s'agit de la moyenne des 10 derniers TS pour un seul analyte. Le RMTS est indiqué dans la section Texte de votre compte-rendu. 7.4. Target Score moyen global (ORMTS) Il s'agit de la moyenne de tous les RMTS répertoriés pour un échantillon RIQAS donné. L'ORMTS est indiqué sur la page de résumé de votre compte-rendu. 7.5. Graphique de calcul du Target Score Un exemple de graphique de Target Score est proposé ci-dessous. Il apparaît à droite du compte-rendu RIQAS. La TDPA est indiquée au-dessus du graphique. Les numéros d'échantillon sont indiqués en abscisse et le Target Score, en ordonnée. Si un résultat n'est pas envoyé, son numéro est remplacé par « N » (Pas de résultat). L'indicateur « C » désigne un résultat corrigé, alors que « L » correspond à un résultat tardif. La ligne verticale située au niveau de l'échantillon 8 indique une mise à jour de l'enregistrement (changement de méthode ou d'unité). Il est parfois impossible d'affecter une déviation ciblée, dans le cas par exemple des nouveaux paramètres ou à ceux qui ont peu de participants. Les Target Scores ne sont donc pas calculés pour ces paramètres, mais vous pouvez évaluer votre performance d'après les Z Score (SDI) et le Biais (%DEV). Lorsqu'aucun Target Score n'est disponible, le graphique correspondant n'apparaît pas sur la page et la mention N/A (Sans objet) est affichée. Les cinq catégories de performance, qui s'échelonnent entre « Unacceptable » (Inacceptable) et « Excellent », sont affichées sur le graphique. Les résultats du participant sont relevés pour chaque échantillon renvoyé. Le graphique ci-dessous montre une amélioration de la performance depuis la mise en place du EEQ.

> Critères de performance acceptable : Target Score supérieur à 50.



Graphique de calcul du Target Score 8. Le SDI (Z Score).

L’Index d’Ecart-Type (Z-score) permet la comparaison entre le résultat du participant et la moyenne de comparaison, avec un intervalle d'évaluation appelé Ecart-type d'évaluation de performance (SDPA). 8.1. Affectation de l’ Ecart-Type d'évaluation de performance (SDPA) Les Ecarts-Type d'évaluation de performance sont calculées à partir des déviations cibles d'évaluation de performance (TDPA) : a) Pour chaque paramètre, un CV d'évaluation de performance (CVPA) est calculé comme suit : CVPA = TDPA valeur t où valeur t = facteur représentant le % de personnes obtenant de mauvaises performances à la TDPA. La TDPA est définie de sorte que ~10 % des laboratoires atteignent des Target Scores inférieurs à 50 (mauvaise performance). Dans ce cas, la valeur t utilisée pour convertir TDPA en CVPA est de 1,645. Cependant, selon l'homogénéité et la stabilité de l’échantillon, la TDPA devra peut-être être augmentée afin que la variabilité de l'échantillon ne nuise pas aux performances des participants.

120

110

100

90

80

70

60

50

40

30

20

10

0

Excellent

Bon

Acceptable

Amélioration

nécessaire

Inacceptable

7 8 9 10 11 12 N 2 3 4 5 6 7 8 9 C 11 12 L 2

TDPA = 4,9 %

Numéros d'échantillon

Tar

get

Sco

re



Dans ce cas, moins de 10 % des laboratoires obtiennent de mauvaises performances et une valeur T supérieure est choisie pour convertir TDPA en CVPA. b) Ensuite, le CVPA est converti en SDPA comme suit : SDPA = CVPA x Moyenne de comparaison 100 Cette équation permet de calculer une SDPA initiale pour chaque moyenne de comparaison (c.à.d pour les statistiques Toutes méthodes, Méthode et Instrument). Une incertitude relative à la moyenne de comparaison est ensuite associée à la SDPA, lorsqu’elle est considérée comme significative. Exception : Nous avons vu précédemment, qu’il est parfois impossible d'affecter une déviation cible (nouveaux paramètres ou nombre faible de participants), il est donc impossible de calculer le SDPA à partir de la TDPA. Le SDPA correspond simplement à la SD calculée lorsque la moyenne de comparaison est générée (voir la section 3).

c) Calcul de l'incertitude de la valeur affectée Conformément à la norme ISO/IEC17043, une incertitude liée à la moyenne de comparaison doit être calculée et associée au SDPA lorsque celle-ci est considérée comme significative. Cette opération permet de générer un SDPA ajusté servant à calculer le SDI (Z score). L'incertitude (Um) associée à chaque moyenne de comparaison est calculée comme suit : Um = 1,25 x SD √ n où : SD = SD calculée lors de la génération de la moyenne de comparaison (voir la section 3) n = Nombre de résultats utilisés pour calculer la SD d) Combinaison d'Um avec SDPA : Chaque Um calculée est comparée au SDPA : i) Si Um est supérieure à 0,3 x SDPA, elle est significative et doit être combinée avec le SDPA comme suit : SDPAajusté = √ ( Um

2 + SDPA2)

ii) Si Um est inférieure à 0,3 x SDPA, elle n’est pas significative : SDPAajusté = SDPA calculée dans la sous-section b) ci-dessus.



Le SDPAajustée et l'incertitude Um sont indiqués dans la section Texte, accompagnés comme d’habitude de la moyenne de comparaison. Lorsque l'incertitude a été combinée au SDPA, un petit « a » apparaît à côté de SDPA pour indiquer qu'il a été ajusté. Exemple extrait du programme Urine Humaine.

L'incertitude est également indiquée avec les statistiques de la méthode, apparaissant en bas à gauche de chaque page du compte-rendu.

8.2. Calcul du Z-Score (SDI)

Le Z score également appelé Index d’Ecart-Type(SDI) indique dans quelle proportion le résultat communiqué est éloigné de la moyenne consensuelle relativement à l’Ecart-Type d'évaluation de performance (SDPA) ; il se calcule comme suit : -

SDI = résultat du participant – moyenne de comparaison SDPAajustée

Ce graphe permet de visualiser l’évolution du SDI ou Z-score dans le temps sans avoir à reprendre les rapports précédents. La moyenne de comparaison est indiquée sur l’axe des abscisses du haut. Le numéro de l'échantillon figure sur l'axe des abscisses et le SDPA sur l'axe des ordonnées.



8.3 Critères de performance acceptable Une performance acceptable correspond à un SDI inférieur à ± 2. 8.4. Calcul de la déviation standard indexée moyenne (RMSDI) La RMSDI correspond à la moyenne des 10 derniers SDI d'un paramètre donné ; elle sert de mesure de performance sur toute la plage de concentrations. La RMSDI apparaît dans la section Texte de chaque compte-rendu, sous le SDI actuelle. 8.5. Calcul de la déviation standard indexée moyenne globale (ORMSDI) L'ORMSDI correspond à la moyenne de toutes les RMSDI des paramètres d'un échantillon donné, une mesure de performance globale pour tous les paramètres qui s'étend sur toute la plage de concentrations. Elle est indiquée sur la page de résumé du compte-rendu de routine. 9. Calcul du Biais (%DEV) 9.1. Formule de Calcul Parfois appelé pourcentage d'erreur ou biais, le pourcentage de déviation est calculé comme suit : % DEV = résultat du participant – moyenne de comparaison x 100

moyenne de comparaison Plus le % DEV (Biais) est proche de zéro, meilleures sont les performances.



9.2. Critères de performance acceptables Le Biais est comparé à des limites de performance prédéfinies. Ces critères acceptables prédéfinis correspondent par défaut aux déviations cibles d'évaluation de performance RIQAS. Cependant, les critères acceptables peuvent être remplacés par des critères officiels définis par des organismes savants selon des exigences nationales (par ex. RICOS ou Biological Variation [Variation Biologique]). Les critères acceptables sont indiqués dans la section Texte et délimite les bornes ‘Limites acceptables’ sur le graphe « % DEV» (zone en rouge).

9.3. Graphiques de pourcentage de déviation Sur les comptes-rendus RIQAS, le biais est représenté dans deux graphiques :

a) % de déviation par numéro d'échantillons : pour suivre les performances au fil du temps

b) % de déviation par concentration : pour identifier les biais potentiels liés à la concentration

(échantillon en cours marqué par un ■).



9.4. Calcul du pourcentage de déviation moyen (RM%Dev) Le RM%Dev correspond à la moyenne des 10 derniers % DEV. Dans le graphique % DEV en fonction des numéros d’échantillons, il est représenté par la courbe de points blancs. 9.5. Calcul du pourcentage de déviation moyen global (ORM%Dev) L'ORM%Dev correspond à la moyenne de toutes les RM%Dev des paramètres d'un échantillon donné, Il est noté sur la page de résumé. 10. Résultats « Inférieur à » et « Supérieur à » Lors d’un dosage hors domaine de mesure de votre trousse, il est maintenant possible d'envoyer des résultats « Inférieur à » et « Supérieur à » via RIQASNet. Il n’y aura pas de traitement statistique mais la limite de détection sera indiquée (voir ci-dessous). Aucun SDI, Target Score ou % de déviation ne vous sera affecté.

Une indication de résultat « Inférieur à » ou « Supérieur à » apparaîtra également sur les graphiques de Levey-Jennings, de Target Score et de % de déviation, avec le signe « < » ou « > » à la place d'échantillon approprié.



11. Page de résumé

Vos performances peuvent être passées en revue rapidement sur la page de résumé située à la fin de chaque compte-rendu. Les performances ne satisfaisant pas aux critères acceptables apparaissent en gras, italique et souligné. Lorsqu'un résultat ne satisfait pas aux 3 critères acceptables, un triangle rouge apparaît dans la colonne « Performance ».



12. Exemple de Calcul des statistiques de performance

L'exemple suivant est extrait du programme Urine Humaine pour le Calcium. La codification du participant indique qu'il utilise un Dimension RxL de Siemens employant une méthode CPC. Pour l'échantillon en cours, le participant a envoyé un résultat de 3,79 mmol/l. 12.1 Configuration de la TDPA Conformément aux normes ISO/IEC17043, ISO13258 et IUPAC, la déviation cible d'évaluation des performances (TDPA) doit être supérieure à 3,33 x la variabilité des échantillons (homogénéité, stabilité et stabilité durant le transport). La valeur la plus élevée parmi les suivantes est donc choisie comme nouvelle TDPA :

Ancienne déviation cible 7,5 %

Homogénéité x 3,33 1,1 x 3,33 = 3,66 %

Stabilité x 3,33 0,6 x 3,33 = 2,00 %

Stabilité durant le transport x 3,33 0,66 x 3,33 = 2,20 %

La variabilité du matériel de contrôle est inférieure à l'ancienne déviation cible de 7,5 %. Cette valeur est indiquée au-dessus du graphique de calcul du Target Score ; elle sert à calculer le Target Score du participant. 12.2 Choix de la moyenne de comparaison Un participant utilise un Dimension RxL de Siemens, avec une méthode CPC. Pour l'échantillon en cours, il a envoyé un résultat de 3,79 mmol/l. Le participant sera comparé aux statistiques Instrument/Méthode ci-dessous car il y a plus de 5 retours dans ce groupe. Après retrait des valeurs aberrantes, les statistiques calculées sont les suivantes :



12.3 Calcul du Target Score Le Target Score du participant est calculé comme suit :

%DEV = (Votre résultat - Moyenne de comparaison) x 100 Moyenne de comparaison

TS = log10 3,16 x TDPA x 100 %DEV

Après avoir saisi les valeurs connues, nous calculons :

%DEV = (3,79 - 3,885) x 100 = -2,4453 % 3,885

TS = log10 3,16 x 7,5 x 100

-2,4453 TS = 99 Le Target Score est indiqué dans la section Texte et sur le graphique de calcul du Target Score, comme illustré. Ce résultat est considéré comme « Bon ».



12.4 Calcul de l’Ecart-Typed'évaluation de performance (SDPA)

Un CV d'évaluation de performance (CVPA) est calculé comme suit : CVPA = TDPA valeur T où la valeur T = facteur représentant le % de personnes obtenant de mauvaises performances à la TDPA. Lorsque la TDPA est définie de sorte que ~10 % des laboratoires obtiennent de mauvaises performances, la valeur T est ~1,645 (ou plus exactement, 1,64485). Pour le calcium urinaire, CVPA = 7,5 = 4,5607 % 1,64485 Ensuite, le CVPA est converti en SDPA pour chaque moyenne de comparaison comme suit : SDPA = CVPA x Moyenne de comparaison 100 i) Pour les statistiques Toutes méthodes : SDPA = 4,5607 x 3,695607 = 0,16854 mmol/l 100 ii) Pour les statistiques Méthode CPC : SDPA = 4,5607 x 3,879246 = 0,17692 mmol/l 100 iii) Pour les statistiques du groupe Instrument Dimension de Siemens/Méthode CPC : SDPA = 4,5607 x 3,884818 = 0,17718 mmol/l 100 12.5 Calcul de l'incertitude de la valeur affectée Conformément à la norme ISO/IEC17043, une incertitude de la moyenne est calculée et associée au SDPA lorsque celle-ci est considérée comme significative. Cette opération permet de générer un SDPA ajusté servant à calculer le SDI (Z-Score). L'incertitude (Um) associée à chaque moyenne de comparaison est calculée comme suit : Um = 1,25 x SD √ n où : SD = SD calculé lors de la génération de la moyenne de comparaison (non illustré

sur les rapports) n = Nombre de résultats utilisés pour calculer le SD SDPA = Ecart-Type d'évaluation de performance



i) Pour les statistiques Toutes méthodes : Um = 1,25 x SD = 1,25 X 0,2730 = 0,0207, arrondi à 0,02 mmol/l sur le compte-rendu √ n √ 270 ii) Pour les statistiques Méthode CPC : Um = 1,25 x SD = 1,25 x 0,1651 = 0,0172, arrondi à 0,02 mmol/l sur le compte-rendu √ n √ 144 iii) Pour les statistiques du groupe Instrument Dimension de Siemens/ Méthode CPC : Um = 1,25 x SD = 1,25 x 0,1540 = 0,05804, arrondi à 0,06 mmol/l sur le compte-rendu √ n √ 11 12.6 Combinaison d'Um avec SDPA, où elle est significative Chaque Um calculée pour la moyenne de comparaison est comparée au SDPA : i) Pour les statistiques Toutes méthodes : SDPA = 0,16854, 0,3 x SDPA = 0,0506 mmol/l Um = 0,0207 est inférieure à 0,3 x SDPA, donc Um n'est pas significative. SDPA reste donc à 0,16854, arrondi à 0,17 mmol/l sur le compte-rendu ii) Pour les statistiques Méthode CPC : SDPA = 0,17692, 0,3 x 0,17692 = 0,0531 mmol/l Um = 0,0172 est inférieure à 0,3 x SDPA, donc Um n'est pas significative. SDPA reste donc à 0,17692, arrondi à 0,18 mmol/l sur le compte-rendu iii) Pour les statistiques Instrument Dimension de Siemens /Méthode CPC : SDPA = 0,17718, 0,3 x 0,17718 = 0,05154 mmol/l Um = 0,05804 est supérieure à 0,3 x SDPA, donc Um est significative et doit être associée au SDPA SDPAajusté = √ ( Um

2 + SDPA2 ) = √ ( 0,058042 + 0,177182 )

SDPAajusté = 0,1864, arrondi à 0,19 mmol/l sur le compte-rendu



Le SDPAajusté et l'incertitude sont indiqués sur le compte-rendu. Lorsque l'incertitude a été combinée au SDPA, un petit « a » apparaît à côté du SDPA pour indiquer qu'il a été ajusté.

12.7 Calcul du SDI (Z-Score) Le SDI (Z-Score) représente dans quelle mesure le résultat communiqué est éloigné de la moyenne consensuelle relativement à l’Ecart-Type d'évaluation de performance ; il se calcule comme suit : -

SDI = résultat du participant – moyenne de comparaison SDPAajusté

Dans cet exemple, le participant rend un résultat de 3,79 mmol/l qui est comparé à la moyenne de comparaison Instrument (3,885). SDI = 3,79 – 3,885 = -0,5097, arrondi à –0,51 mmol/l sur le compte-rendu 0,1864 Le SDI (Z Score) est indiquée dans la section Texte du compte-rendu et représenté un graphique de Levey-Jennings. Le Z score calculé est inférieur à 2.



12.8 Calcul du Biais (%Dev) % DEV = résultat du participant – moyenne de comparaison x 100 _ moyenne de comparaison % DEV = 3,79 - 3,885 x 100 _ 3,885 % DEV = -2,445 %, arrondi à -2,4 Le % de déviation de ce participant est acceptable car il est inférieur aux critères acceptables définis (TDPA RIQAS de 7,5 %). Il est indiqué dans la section Texte du compte-rendu et représenté sur deux graphiques : Section Texte

% de déviation par graphique d'échantillons. Les points noirs indiquent les % DEV. La courbe de points blancs représente votre tendance grâce au RM%DEV. Les résultats situés dans la zone blanche (%DEV < 7,5 %) affichent de bonnes performances.



% de déviation en fonction de la concentration. Les points gris indiquent les % DEV. Le carré noir représente l'échantillon en cours (%Dev = -2,4 %).

12.9 Performance acceptable Les critères de performance acceptables sont les suivants :

Target Score supérieur à 50 SDI inférieur à 2 % de déviation dans l'ensemble « acceptable limits » (limites acceptables) (limite de

calcium urinaire = 7,5 %). Le Target Score du participant est de 99, la SDI est de –0,51 et le % de déviation est de –2,4 %. Le participant affiche donc des performances acceptables pour cet échantillon. Please contact RIQAS at Tel: +44 (0) 28 9445 4399 Fax: +44 (0) 28 9445 4398 E-mail: [email protected] RIQASNet: www.riqas.net Website: www.riqas.com Randox Laboratories Limited, 55 Diamond Road, Crumlin, Co. Antrim, BT29 4QY, United Kingdom

mailto:[email protected]

http://www.riqas.net/

riqasriqasconnect.randox.com/riqas/documents/fr-eval.pdfevaluation of performance fra.doc 1/19 form...

Documents