metodo de comparacion2011
TRANSCRIPT
Aseguramiento de la Calidad en el Lab. Clínico: Control de
Calidad Externo (CCE)
Pedro Cortes AlfaroTecnólogo Medico
Magister en Administración en Salud
Valor
verdadero
Variabilidad Pre-analítica
(estimada como irrelevante)
Variabilidad Biológica Intrínseca
(una constante)
Variabilidad analítica
(imprecisión analítica total)
Resultado de la muestra
VARIABILIDAD TOTAL
Bias Analítico
Variabilidad Analítica
(imprecisión analítica total)+ ERROR TOTALBias Analítico =
Composición de un dato de laboratorio
ASEGURAMIENTO DE LA
CALIDAD FASE ANALÍTICA
Cumple
CCI
Material
Control
Corrida Analítica
Gráficas Levey-Jennings
Reglas de Westgard
Error Total - Cartas OPSpecs –
Nº Sigma - ΔSEcrit (inexactitud e
imprecisión del método)Cumple
No
Si
Material
Control con
trazabilidad
No Si Aseguramiento
de la calidad de
Resultados/
procedimiento
Acciones Preventivas
y Correctivas
CCE
Material
Control
ERROR
(de una medida)
Error sistemático
incertidumbreRESULTADO
Error aleatorio
Error sistemático conocido
Error sistemático desconocido
corrección Error remanente
R + U (R)
Error originado por causas aleatorias o fortuitas y probablemente no corregibles
ERROR ALEATORIO
60
70
80
90
100
110
120
130
1 3 5 7 9 11 13 15 17 19
Límite de alarma superior
Límite de precaución superior
Límite de precaución inferior
Límite de alarma inferior
media
Tiempo: dias: fechas
unidades
Error Total Máximo: es el máximo error aceptable a
un determinado nivel de concentración.
“VV”
Error Sistemático (ES) = x – “VV”
Error Total Máximo = ES + EA
Error Aleatorio (EA) = 3 x S(n-1)
x
ERROR SISTEMÁTICO
• Diferencia entre valor medio y valor verdadero. • Es el mismo para todas las medidas repetidas.• Depende de la veracidad del procedimiento de
medida.• Causas del error sistemático:
• Calibración incorrecta: afecta a todas las muestras. Debe ser evitado o corregido.
• Inespecificidad (metrológica): afecta a las muestras • que contengan alguna interferencia. Debe prevenirse.
Si se utiliza un procedimiento de medida muy específico y adecuadamente calibrado, los resultados están libres de error sistemático.
Callum G. Fraser: BIOLOGICAL VARIATION: FROM PRINCIPLES TO PRACTICE
Error Total(TE) puede ser calculado de diferentesformas. La manera mas usual es agregando el bias (sesgo) y precision “linealidad”.
TE = bias + 2SD ( or CV)
TE = bias + 3SD ( or CV)
TE = bias + 4SD ( or CV)
TEa= bias + 1,65 SD ( or CV)
TEa= BA + 1,65 CVA
me
did
a a
erroraleatorio
valo
r ve
rda
der
o
error sistemático
me
did
a b
80 90 100 110 120
resultado medición
pro
bab
ilid
ad
-15 0
tamaño error sistemático
pro
bab
ilid
ad
80 90 100 110 120
valo
r ve
rdad
ero
error sistemático
med
ida
erroraleatorio
error de medida
imprecisión
error máximo de medida
TIPOS DE ERRORES
0 +1 +2 +3 +4 +5 +6-1-2-3-4
s
DESPLAZAMIENTO DE LA CONDICION ESTABLE
ESTIMACIÓN DEL ERROR SISTEMÁTICO
comprar MRC
comparar procedimientos
participar en EQAS
asignado a materialesreferencia certificados
obtenido en muestras conprocedimientos de veracidad conocida
Valor de consenso encomparación interlaboratorios
valor verdadero convencionalValorverdadero
método externo para validación del desempeño en cuanto a exactitud de un laboratorio, mediante la evaluación de muestras ciegas y la comparación de sus resultados con todos los laboratorios participantes.
CONTROL DE CALIDAD EXTERNO
ESTIMACIÓN DEL ERROR EN EQAS
Diferencia respecto a un valor verdadero convencional
– Mensurandos con valor independiente del método: valor de la media global (u otro vvc). Los valores de referencia son independientes del método.
– Mensurandos con valor dependiente del método: valor de la media del método (u otro vvc). Enzimas, muchos inmunoanálisis. Los valores de referencia son dependientes del método.
EXPRESIÓN DEL ERROR EN EQAS
• error absoluto = resultado lab - valor
verdadero
• error relativo (%) = 100 x error absoluto / valor
verdadero
– útil para comparar con el requisito de
exactitud o con la incertidumbre o con
otros mensurandos
• error relativo (s) = SDI = error absoluto / sgrupo
– útil para comparar con otros laboratorios
Bias: “Modelos de Estimación”
¿De que forma podemos estimar el Bias de nuestros métodos?
1)- Comparación de Métodos.2)- Esquemas Interlaboratorio o Peer Group.3)- Control de Calidad Externo.- Regresión- T test4)- Estudios de Recuperación, verificación de la veracidad .5)- Otros.
Bias: “Comparación de Métodos”
Los estudios de comparación de métodos se llevan a cabo a efectos de determinar el error sistemático del ensayo (cantidad) que está siendo evaluado.
Se realizan analizando muestras con el nuevo método y un método de comparación.
Sobre la base de las diferencias observadas entre los dos métodos se calcula el error sistemático.
Las diferencias observadas se analizan en los distintos niveles de decisión médica de la cantidad (analito) en cuestión, para juzgar sobre la aceptabilidad del método. Brindan información importante sobre la naturaleza del error (sistemático o constante).
Bias: “Comparación de Métodos”
Objetivo
“El propósito fundamental de los estudios de comparación demétodos es determinar si dos métodos son estadísticamentecomparables”
Para que esto sea cierto se deben dar tres condiciones:1- La pendiente no debe ser significativamente diferente de 1.2- La intersección no debe ser significativamente diferente de 0.3- No debe existir diferencia significativa en los niveles dedecisión médica.
Bias: “Comparación de Métodos”
Factores a Considerar1)- Método de Comparación.2)- Número de muestras a analizar.3)- Corrida Simple Vs. Duplicados.4)- Duración del estudio.5)- Estabilidad de las muestras.
Bias: “Comparación de Métodos”
Método de Comparación-Se habla de método de comparación.
-Debería seleccionarse un método de referencia para asegurarla veracidad de los resultados que genera.
-Si el método de comparación es un método de referencia, lasdiferencias encontradas son asignadas al método en estudio.
-Al momento de interpretar los resultados es muy importantesaber cual es la referencia que estamos empleando.
- Conceptos relacionados : “Trazabilidad”; “Método Definitivo o de Referencia”
Bias: “Comparación de Métodos”
Número de muestras a analizar
-Deben seleccionarse entre 20 y 40 muestras de pacientes, de manera tal que se cubra el rango de trabajo del ensayo en estudio.
-La calidad de las muestras seleccionadas es más importante que la cantidad.
- Factor crítico: “Distribución de las muestras”.
Bias: “Comparación de Métodos”
Corrida Simple Vs. Duplicados-Los duplicados brindan una verificación sobre la validez de las mediciones.
-Incrementan costos.
- Si no se trabaja con duplicados se deben verificar los pares de datos al momento que son obtenidos.
Bias: “Comparación de Métodos”
Duración del estudio
-Mínimo 5 días.
-Optimo 20 días.
-2 a 5 muestras por día.
Bias: “Comparación de Métodos”
Estabilidad de las muestras-Genéricamente se recomienda no dejar pasar más de 2 horas para procesar las muestras por ambos métodos.
-La estabilidad del analito en la muestra puede ser una limitante.
- Ejemplos: Bicarbonato, lactato, amonio, gases en sangre.
Bias: “Comparación de Métodos”
Interpretación de resultadosExisten 4 razones o motivos por los cuales se realizan estudios de comparación entre métodos:
-Clínico-Analítico-Investigación-Armonización
Bias: “Comparación de Métodos”Interpretación de resultados
Sensibilidad de parámetros estadísticos de tres clases de error
Random Proporcional Constante
Slope No Si No
Intercept No No Si
Std. Err. Est. Si No No
Bias No Si Si
Std. Dev. Diff. Si Si Si
T Test Si Si Si
Corr. Coef, (R) Si No No
Med. Dec. Pt. No No No
Predicted Bias No Si Si
95% Confs.Limit
Si Si SI
Bias: “Comparación de Métodos”
Interpretación de resultadosStd. Err. Est.(SEE)-Describe la dispersión de los puntos x,y alrededor de la línea de tendencia central.
-Cuanto más chico sea el SEE mejor correlacionan los métodos.
- Si el desvío estándar de ambos métodos es idéntico, el SEE será aproximadamente 1,4 veces el desvío estándar típico.
valores verdaderos
valo
res o
bservad
os
constante
proporcional
Bias: “Comparación de Métodos”
Interpretación de resultadosStd. Err. Est.(SEE)
Bias: “Comparación de Métodos”
Análisis GráficoEs inicialmente útil para detectar outliers.Para los métodos que supuestamente tienen un grado de acuerdo importante se utiliza el “Difference plot”.
Permite identificar outliers
Permite visualizar errores
www.westgard.com
Bias: “Comparación de Métodos”
Análisis Gráfico Asociado
Permite identificar outliersVerificar la calidad de las muestrasRespuesta lineal en el rango analíticoAcuerdo entre los métodos
www.westgard.com
Bias: “Comparación de Métodos”
Diferentes modelos de regresión:
Regresión lineal
Regresión de Deming
Passing-Bablok
Bias: “Comparación de Métodos”Interpretación de resultados
-Ambos modelos funcionanminimizando la suma de loscuadrados de los residuales.
-La regresión regular asumepara hacerlo que le métodode comparación es exacto.
-Angulo definido por el cociente de los errores relativos de los 2 métodos.
Bias: “Comparación de Métodos”
Interpretación de resultados
Passing Bablok- Es una aproximación diferente.- Calcula las pendientes de cada uno de los pares de puntos.-Descarta las pendientes horizontales y verticales y estima-la media del resto.- Descarta outliers.
Bias: “Comparación de Métodos”Coeficiente de correlación (r)
“Describe el ancho relativo de la elipse queengloba los puntos de la serie de datos.”
- Es sensible al error aleatorio, al rango de datos y al signo de la pendiente.
- Mide el grado de asociación entre dos variables.
Bias: “Comparación de Métodos”
Interpretación de resultados¿Cómo estimar el Bias en unidades de concentración y porcentaje a partir de la ecuación de la recta obtenida del estudio de comparación de métodos?
Pendiente: 1,0377 (m)Intercepto: 5,37 (b)
Ecuación de la recta: Y = m * X + bY = pendiente * X + Intercepto
Y = 1,0377 * X + 5,37X : Concentración a la cual se va a evaluar el biasDebería representar un nivel de decisión médica
Bias: “Comparación de Métodos”
Interpretación de resultados
Y = 1,0377 x X + 5,37Lo que quiero saber es:- Para una muestra que tenga un valor verdadero de “X”que valor voy a obtener yo de acuerdo al Bias de mimétodo .
- X = 100 mg/dl- Y = 1,0377 x 100 + 5,37-Y = 109,1mg/dl
- Para una muestra con un valor verdadero de 100 mg/dlcon mi método yo obtendría un valor de 109,1 mg/dl.
Bias: “Comparación de Métodos”
Interpretación de resultados
X = 100 mg/dl (valor verdadero)Y = 109,1 mg/dl (valor obtenido)
¿Cuál es el Bias en unidades de concentración?
Bias = Valor Obtenido – Valor VerdaderoBias = 109,1 – 100 = 9,1 mg/dl
Bias: “Comparación de Métodos”
Interpretación de resultados
X = 100 mg/dl (valor verdadero)Y = 109,1 mg/dl (valor obtenido)
¿Cuál es el Bias en porcentaje?Bias = Valor Obtenido – Valor Verdadero x 1oo
Valor VerdaderoBias = 109,1 – 100 x 1oo
100Bias = 9,1 %
Cada punto representa una muestra medida con dos procedimientos.
La línea roja es la recta de regresión y la negra indica la igualdad x=y
A Resultados idénticos
B Error sistemático constante positivo
Bias: “Comparación de Métodos”
Cada punto representa una muestra medida con dos
procedimientos.
La línea roja es la recta de regresión y la negra indica la
igualdad x=y
C Error sistemático proporcional
D Error mixto
Bias: “Esquemas Interlaboratorio”
Interpretación de resultados
“Los esquemas interlaboratorio brindan unainformación muy útil para la estimación del Bias”
Puntos críticos:-Contra que me comparo.-Valor verdadero.-Trazabilidad.-Tamaño del grupo de comparación.-Niveles de decisión médica evaluados.
Bias: “Esquemas Interlaboratorio”
Evaluemos Nivel 1:
Supongamos valor verdadero: Media grupo parLab: 40,07
Media grupo par: 39,05Bias: ( 40,07 - 39,05) = 1,02Bias %: (1,02 / 39,05)*100= 2,61
Bias: “Esquemas Interlaboratorio”
Evaluemos Nivel 1:
Supongamos valor verdadero: Media Acumuladadel laboratorio
Lab: 40,07Media acum. Lab.: 40,08Bias: ( 40,07 - 40,08) = -0,01Bias %: (0,01 / 40,08)*100= 0,02
Bias: “Esquemas Interlaboratorio”
Evaluemos Nivel 1:
Supongamos valor verdadero: Media del Método
Lab: 40,07Media del Método: 37,72Bias: ( 40,07 - 37,72) = 2,35Bias %: (2,35 / 37,72)*100= 6,2
Bias: “Esquemas Interlaboratorio”
Evaluemos Nivel 2:
Supongamos valor verdadero: Media grupo par
Lab: 185,6Media grupo par: 188,1Bias: ( 185,6 – 188,1) = -2,5Bias %: (2,5 / 188,1)*100= 1,3
Bias: “Esquemas Interlaboratorio”
Evaluemos Nivel 2:
Supongamos valor verdadero: Media Acumuladadel laboratorio
Lab: 185,6Media acum. Lab.: 186,4Bias: ( 185,6 - 186,4) = -0,8Bias %: (0,8 / 186,4)*100= 0,4
Bias: “Esquemas Interlaboratorio”
Evaluemos Nivel 2:Supongamos valor verdadero: Media del Método
Lab: 185,6Media del Método: 188,1Bias: ( 185,6 – 188,1) = -2,5Bias %: (2,5 / 188,1)*100= 1,3
SDI – IDE - Puntaje-Z %sesgo - %BIAS - DRP
SRZ (promedio últimos 6 Puntaje-Z, últimas muestras)
n
ZiSRZ
n
1i
SRZ
S
X-X100*
X
X-X
Criterios de Evaluación Programas de Evaluación externa
En Términos de Error Total permitido:
Probabilidad (%)
Unidirectional z - Score
Bidereccional Z- Score
99 2,33 2,58
98 2,05 2,33
97 1,88 2,17
96 1,75 2,05
95 1,65 1,96
90 1,28 1,65
85 1,04 1,44
ImprecisiónInexactitud
ERROR TOTAL (Competencia)
1.65%CV%SESGOET
Criterios de aceptabilidad de los resultadosde los PEEC
ERROR TOLERABLE MAXIMO, ETMEstablece un intervalo de variación aceptable alrededor del valor asignado. En la práctica, dicho valor asignado tiene que ser igual o cercano a la concentración crítica para el analito
X=A +ETM-ETM
CRITERIO DE TONKS
Establece un error de tolerancia máximo (ETM) paracada constituyente, considerando el intervalo dereferencia (IR) o valor de referencia para éste, y secalcula de la fórmula siguiente:
ETM = (0.25*IR/valor medio del IR)*100
Criterios para determinar el ETM
Ejemplo, para glucosa:IR = 80 a 120 = 40valor medio del IR = (80 + 120)/2 = 100,luego ETM =(0.25 * 40/100) * 100 = 10 %
luego el D.R.P. aceptable para glucosa es entre - 10 % a + 10 %
1963
DRPx x
x
i m
m
100
Xm
D.R.P.(-) D.R.P.(+)
D . R . P .
Desvio Relativo Porcentual: mide en % la
diferencia entre el valor informado por el
laboratorio para cada constituyente sérico (xi) y el
valor promedio del método analítico (xm) obtenido
por consenso.
ERROR TOTALCONVENCIONAL
CALIDAD ANALÍTICAPLANIFICADA
CALIDAD CLÍNICAPLANIFICADA
IMPRECISIÓNESTABLE
INEXACTITUDESTABLE
IMPRECISIÓNESTABLE
INEXACTITUD ESTABLE
MARGEN DE CC SEGURO
INEXACTITUD ESTABLE
MARGEN DE CC SEGURO
IMPRECISIÓNESTABLE
FACTORESPREANALÍTICOS
IMPRECISIÓNESTABLE
Misma base de fondo, diferentes costos
Distinta base de fondo, diferentes costos
ENFOQUES DE CALIDAD
Grafico de Precisión
. .... ...
.
..
..
..
..
......
.
..
..
..
.
.
Precisa yExacta
ImprecisaY exacta
Precisa eInexacta
ImprecisaE Inexacta
Ejemplos de Precisión
... ..95.. .
..95...
PRECISO Y EXACTO
Control Interno y Externo Solo Control Interno
PRECISO E INEXACTO
Bias: “Verificación de Veracidad” Recuperación
Desempeño del Método
Premisa:“Establecer los Requisitos de Calidad”
Conocemos el desempeño de nuestros métodos en condiciones estables a partir de la verificaciones y validaciones analíticas de métodos.Una vez conocido el método como aceptable (cumple con nuestro requisitos de calidad), trabajamos con control de calidad para asegurarnos que el método permanece estable en función del tiempo.Operando correctamente los datos de desempeño analítico del método obtenidos de las corridas de los controles (esquemas interlaboratorio), junto con los requisitos de calidad podemos seguir cual es el comportamiento del método de acuerdo a nuestras expectativas.
Desempeño del Método
Los errores calculados son:- Error Aleatorio: A partir de los protocolos de Precisión Simple y Compleja.
SD y CV- Error Sistemático: A partir del protocolo de Comparación de Métodos.
Y = Pendiente * X + IntersecciónDe la combinación de conceptos y errores surge ladecisión acerca de la aceptabilidad del método en estudio.Existen varios modelos para esta combinación.Los más apropiados son:
1-Method Desicion Chart2-Six Sigma
Method Desicion Chart
- Recomendaciones para combinación de errores:
• bias + 2SD < TEa• bias + 3SD < TEa• bias + 4SD < TEa
- A partir de los protocolos de evaluación obtenemos los siguientes datos:
BIASCV
- BIAS y CV se calculan en concentraciones consideradas niveles de decisión médica.
Desempeño del Método
El TE a debe expresarse en porcentaje.Si TE a está expresado en concentración, debe transformarse en porcentaje considerando el nivel de decisión médica seleccionado:
Desempeño del Método
TE a: 1 mg/dl (Calcio)Nivel de decisión médica: 11 mg/dlTE a%: (1/11)*100 = 9.1 %
TE a: 0.5 mEq/l (Potasio)Nivel de decisión médica: 3.0 mEq/lTE a%: (0.5/3.0)*100 = 16.7 %
Desempeño del Método
Crear el gráfico:- Rotular el eje Y como Inexactitud permitida ( BIAS %) y establecer una escala de 0 a TE a%.- Rotular el eje X como Imprecisión permitida ( CV %) y establecer una escala de 0 a TE a.0.5 (la mitad)- Dibujar la línea bias + 2SD uniendo el TE a en el eje Y con el TE a.0.5 en el eje X.- Dibujar la línea bias + 3SD uniendo el TE a en el eje Y con el TE a.0.33 en el eje X.- Dibujar la línea bias + 4SD uniendo TE a en el eje Y con el TE a.0.25 en el eje X.- Rotular las zonas ( de derecha a izquierda) como Pobre, Marginal, Bueno y Excelente.
Desempeño del Método
Desempeño del Método
Pobre: El método no cumple con los requerimientos de calidad, ni siquiera trabajando en condiciones de base, por lo tanto, es inapropiadopara ser empleado como método de rutina.
Marginal: El método provee la calidad requerida solo bajo condicionesmuy controladas. Será difícil trabajarlo como método de rutina y debeestablecerse una estrategia de calidad total.(entrenamiento deoperadores, QC exhaustivo, plan de mantenimiento frecuente, control de resultados).
Bueno: Cumple con los requerimientos de calidad y puede ser empleado en forma rutinaria con un QC planificado.(multiregla o N:4)
Excelente: Cumple con los requerimientos de calidad y es fácil demanejar con un QC mínimo.
Desempeño del Método