Grading the Evidence Developing the Typhoid Statement

Manitoba 10th

Annual Travel Conference

April 26, 2012

Disclosure of Potential Conflict of  Interest

Alexandra Henteleff MEd, BN, RN

Certificate in Travel Health

Grading the Evidence Developing the Typhoid Statement

Financial DisclosureConsulting Fees: Innovative Solutions Health Plus

Other: Employee Winnipeg Regional Health Authority

Presentation Overview

Brief Overview of Evidence Based Medicine(EBM)

The Evidence Cycle

Typhoid statement development 

using a systematic EBM process 

where we are now

Final note

What is evidence‐based medicine?

Best Research Evidence

Clinical 

Expertise

Evidence 

Based 

Medicine

“Evidence-based medicine is the integration of best research evidence with clinical expertise and patient values”

- Dave Sackett

Why Evidence Based Practice?

How many articles are published per month  in the area of family practice?

a.

2000

b.

4000

c.

8000

d.

10000

Why Evidence Based Practice?

Explosion of literature

Literature is published at a  a rate of nearly 8000*  articles per month in family practice

There are many evidence –

based review resources  that synthesize and critically appraise literature. 

By using these resources, clinicians can make  evidence based decisions in a focused and time‐ efficient manner

*Alper

et al (2004). How much effort is needed to keep up with literature relevant for 

primary care?

Why Evidence Based Practice?

In an average practice, how many questions  arise for every patient seen?

a.For every 3 patients seen 2 questions ariseb.For every 2 patients seen 3 questions arisec.For every patient seen 1 question arises

Why Evidence Based Practice?

Unmet Information NeedsPractitioner information needs are not 

being metFor every 3 patients seen 2 questions are 

generated*Synthesized evidence based practice 

resources can be easy to use and quickly  connect practitioners to evidence based  answers to their clinical questions

*Covell

et al (1985). Information needs in office practice: are they being met?

Why Evidence Based Practice?

On average, how many years does it take to  integrate research into everyday practice? 

a.

5

b.

10

c.

14

d.

17

Why Evidence Based Practice?Implementation DelaysIt takes an average of 17 years for clinical 

research to be fully integrated into everyday  practice

Prior to the the early 90s it was recommended  that infants sleep on their stomachs despite 

evidence available in the 1970s that this  contributed to SIDs

Evidence based resources take into account  evidence from a wide variety of fields thus 

offering  clinicians opportunity for greater  exposure to evidence

Evidence Based Approach• Emphasizes the use of a systematic approach 

to aid clinical decision making

• De‐emphasizes intuition and unsystematic  clinical experiences 

• Stresses the examination of evidence from  clinical research. 

• Requires efficient, systematic literature  searching

• Relies on formal rules and processes to  evaluate the  evidence evaluating the clinical 

literature

Evidence Based Clinical Guidelines

Clinical Guidelines are only as good as the  evidence and judgments they are based on

Evidence Based Medicine and CATMAT

CATMAT has a long history of producing  evidence based statements.

CATMAT produced it’s own statement on  evidence based medicine in 1994. 

13

Evidence Based Medicine

EBM continues to evolve and now there is  greater emphasis on:

Quality of evidence 

Transparency

Balance

14

The Evidence Cycle  ‐

The 5 As

Assess

the problem

Ask

a clear answerable question

Acquire

evidence from appropriate sources

Appraise (grade) the evidence 

Apply

the evidence in practice

Assess the Problem

EBM always begins with identifying the clinical  problem/question that arises from the care of  the patient or population

ASK the question

Construct a question that is relevant to the clinical  problem/situation and helps to guide the process for 

finding an answer

A well phrased question considers the…Patient or Problem

Intervention

Comparison (if applicable – not always present)

Outcomes

(PICO)

Patient

Intervention

Comparison Intervention

Outcome

Applying PICO is a systematic way to identify  important concepts in a case, and formulate a 

question for searching

Searching: finding good answers

AQUIRE  the evidence

Using the well structured question leads into  a well‐built search strategy which includes:

General Information

Filtered Resources

Unfiltered Resources

APPRAISE the evidence

Appraise the evidence for its validity (closeness to 

the truth) and applicability (usefulness in practice)

Three basic questions that need to be answered for 

every type of studyWhat are the results?Are the results valid?Will the results help in caring for my patient 

or addressing the problem?

Why is it important to grade evidence?

People draw conclusions about the– quality of evidence– strength of recommendations

Systematic and explicit approaches can help– protect against errors– resolve disagreements– facilitate critical appraisal– communicate information

Approaches to Grading the Evidence

There is wide variation in the approaches used to 

grade evidence

•US Preventive Services Task Force Grading System•National Advisory Committee on 

Immunization(NACI)•GRADE Approach (Grading of Recommendations 

Assessment, Development and Evaluation)

Levels of Recommendation

Categor

y

Definition

A Strongly recommends routinely 

provide services to eligible patients. 

B Recommends routinely provide 

service to eligible patients. 

C Makes no recommendation to 

routinely provide services.  

D Recommends against routinely 

providing services.  

I Insufficient

evidence (in quality or 

quantity) to make a recommendation

Levels of Evidence

Good

Fair

Poor

US Preventive Services Task Force Grading System

Annals of Int Med 2007;147 (2)

Magnitude of Net BenefitSubstantial

Moderate

Small

Zero/Negative

Levels of RecommendationCategory Definition

A …there is good evidence to recommend 

immunization

B …there is fair evidence to recommend 

immunization

C …existing evidence is conflicting and does not 

allow making a recommendation for or against 

immunization…

D …there is fair evidence to recommend against 

immunization.

E …there is good evidence to recommend 

against immunization.

I …there is insufficient

evidence (in quality or 

quantity) to make a recommendation…

Levels of 

Evidence

Good

Fair

Poor

Evidence‐based recommendations for Immunization 

Methods of the National Advisory Committee on Immunization (NACI)

CCDR 2009; 35 (ACS-1)

GRADE* Approach

Quality of Evidence

High Quality Based on:

•Methodological quality of evidence

•Likelihood of biasModerate

Low

Very Low

Recommendation

StrongBased on:

•Trade‐off between benefits and downsides•Patient values and preferences

Weak

Grading of Recommendations Assessment, Development and Evaluation

Judgments about the quality of evidence

The quality of the evidence (i.e. our confidence)  depends on:

Study design (e.g. RCT, case‐control study)Study quality/limitations (protection against bias)Consistency of results across studiesDirectness of the evidence as it applies to the:

Patient (Population) or Problem

Intervention 

Comparison (if any) 

Outcomes

Levels of Evidence

Some research designs provide 

stronger levels of evidence. 

The hierarchy can be graphically 

shown as a pyramid

Judgments about the Quality of the  Evidence

Quality of Evidence (i.e. our confidence)…

…may be REDUCED

when there is: – Sparse or imprecise data– Evidence of reporting bias

…may be INCREASED when there is:– A strong association– A dose response relationship

Strength of RecommendationThe degree of confidence that the desirable effects 

of adherence to a recommendation outweigh the  undesirable effects.

Desirable Effects Undesirable Effects

Health BenefitsLess BurdenSavings

HarmsMore burden

Costs

EBM Recommendations

Recommendations should clearly:

•Evaluate the quality of evidence

•Provide a summary of the evidence (and gaps)– Quality

– Quantity

– Consistency 

•Describe the balance of potential benefits and  harms

•Identify patient/practitioner values and  preferences

The Updated Typhoid Statement

A journey through the  process of developing  an evidence based 

medicine CATMAT  statement

Background

• The CATMAT statement on Typhoid was published  in 1994

• The CATMAT evidence based medicine working  group decided this statement was appropriate for 

piloting the proposed process for statement  development

• A CATMAT working group was created

Goals

An evidence based statement

A systematic review of the evidence

Synthesis of the evidence

Recommendations that guide practitioners  regarding:

Vaccine effectiveness

Guidance for vaccine recommendation based on:

Destination

Duration of Travel

Sub Populations

Typhoid Statement  Brainstorming the Research Questions

Is the typhoid vaccine effective in preventing typhoid  among Canadian Travellers?

What are the harms associated with typhoid vaccine?

What is the incidence of typhoid in Canadian  travellers?

Typhoid Statement  Brainstorming the Research Questions

What factors are associated with the incidence of  typhoid in Canadian travellers?

What other preventative measures reduce the risk  of acquiring typhoid?

Are treatments available to reduce typhoid  mortality and morbidity?

Literature Reviews1.

General literature review on typhoid and travel

General search on typhoid and travel

Searched databases Ovid MEDLINE & Embase

Restricted to 2000‐2010 (conducted in July 2010)

Resulted in 227 citations

2.

Systematic reviews

Effectiveness of the typhoid vaccine

Effectiveness of treatments used to treat typhoid

General literature review 

General literature review on typhoid and  travel

– General search on typhoid and travel– Searched databases Ovid MEDLINE & 

Embase– Restricted to 2000‐2010 (conducted in 

July 2010)– Resulted in 227 citations

General literature review (cont.) 

We narrowed the search to articles:• in English and French • related to the following topic areas

• Epidemiology and disease  characteristics

• Risk for travellers (destination,  duration, sub‐population)

• Preventative measures• Treatment

2. Systematic Reviews

The Cochrane Collaboration Systematic Reviews

“Vaccines for preventing typhoid fever”

in 2009“Azithromycin for treating uncomplicated typhoid 

and paratyphoid fever (enteric fever)”

in 2008“Fluoroquinolones

for treating typhoid and 

paratyphoid fever (enteric fever)”

in 2008

Additionally:The WHO Background document: The diagnosis, 

treatment and prevention of typhoid fever, 2003

Where we are now?

Through an iterative process with members of the  working group with the support from the 

CATMAT Secretariat a draft version of the  Typhoid statement is underway

Information from the literature has been  synthesized

The evidence is being evaluated

Next Steps

Based on the results of the evidence evaluation:

Develop recommendations

Finalize the statement 

Final review by the full Committee 

Make ready for publicatione

frames)

Grading CATMAT Statements

Statements should be based on good systematic  reviews of the literature

All current grading systems have limitations

Using any EBM or grading system is time intensive  but supports evidence informed clinical decision 

making

Final NoteQuality of evidence must be based on the entire 

body of evidence

There must be transparency on how  recommendations are made 

There is a balance between:– quality of data– balance of harms & benefits – value & preferences 

What is evidence‐based medicine?

Best Research Evidence

Clinical 

Expertise

Evidence 

Based 

Medicine

“Evidence-based medicine is the integration of best research evidence with clinical expertise and patient values”

- Dave Sackett

Thank you