Keele University Benchmarking ServiceO iOverview

David Holland, Operations Lead/Senior Analyst

What is the KUBS laboratory benchmarking h ?scheme?

Th K l U i it B h ki S i (KUBS) id• The Keele University Benchmarking Service (KUBS) provides a subscription‐based benchmarking service to NHS Pathology laboratories in the UKPathology laboratories in the UK

• We gather data and produce reports showing:– The number of each test performedThe number of each test performed– The number of staff employed to do these tests– The costs associated with doing these tests– Some quality measures, eg turnaround times achieved– Split into the five major Pathology disciplines (Clinical Biochemistry, 

Haematology Immunology Microbiology and Cellular Pathology)Haematology, Immunology, Microbiology and Cellular Pathology)

• Reports are produced annually, to fit into NHS financial year• Scottish laboratories joined the scheme in 2006/07• Scottish laboratories joined the scheme in 2006/07

What the process involves (1)p ( )

Q ti i l t d l t i ll d b itt d t• Questionnaires are completed electronically, and submitted to Keele (deadline: July)

• Data checking first draft of the report issued to participants• Data checking first draft of the report issued to participants within a fortnight of final submission deadline

• On‐going data checking and cleaning undertaken by KeeleOn‐going data checking and cleaning undertaken by Keele• Panel review of data and report draft (Aug/Sept)• Revised second draft of report issued to participants (Oct)• Revised, second draft of report issued to participants (Oct)• Final data cleaning processes before final report (with 

commentary) published (Nov)commentary) published (Nov)• Analysis tools also issued (Nov/Dec)

What the process involves (2)p ( )

A l ti t i d t t h t• Annual user group meeting to review data, suggest changes etc• Panel meetings to discuss feedback and to plan questionnaire 

(and report) development(and report) development• Questionnaires revised and drafts issued to panel for final 

checking prior to publicationchecking prior to publication

Changes for 2012/13g /

KUBS b di• KUBS re‐branding• Reduction in participation cost to encourage wider participation

Si ifi d l f i i h i• Significant re‐development of questionnaires; shorter, easier to complete and more streamlined

• New reports and analysis tools• New reports and analysis tools– Analysis systems being re‐built from new this year– Extended analysis tools to provide more options for beginner users andExtended analysis tools to provide more options for beginner users and 

quick analysis functions

• New report for Scotland

Questionnaire developmentQ p

2011/12• 2011/12

Questionnaire developmentQ p

2012/13• 2012/13

Quality?Q y

C tl ll t t d ti d t f l ti f t t• Currently collect turnaround times data for a selection of tests:

Quality?Q y

Al ll t CPA dit ti t t d t f EQA b t th• Also collect CPA accreditation status and cost of EQA, but the quality section is quite limited.  Any scope for expansion?

Workload section

W kl d ti t k d t b t i it i d f• Workload section tweaked most years, but is it in need of an overhaul?

Reportsp

S t l l i t l i d t ti i t• Summary report plus analysis tools issued to participants• Report shows summary data for all laboratories with 2‐year 

sample data (3 year data this time)sample data (3‐year data this time)• Charts in the summary report show individual responses• Trend data showing changes over time 7 years (falling in line with• Trend data showing changes over time, 7 years (falling in line with 

first year of Scottish participation)• Reports are being re designed from scratch this time all• Reports are being re‐designed from scratch this time, all 

ideas/suggestions/requests will be very warmly welcomed!• Analysis tools also being re‐developed to include easy to useAnalysis tools also being re developed to include easy to use 

filters for all sections in the main report

Report summary 2011/12p y /

W kl d h i d b d 10% i E l d/NI d i i• Workload has increased by around 10% on average in England/NI, driven in particular by large increases from the Teaching Cluster.  Workload in Scotland has decreased by around 8% on average.  Work done for ‘other NHS laboratories’ has decreased, and with no real change in workload from ‘network’ laboratories it would seem that any workload (and networking) arrangements in Microbiology/Virology are yet to happen.  

• There has been an increase in GP requests per population, and some laboratories in particular have seen a significant increase in GP workloadlaboratories in particular have seen a significant increase in GP workload.  Changing contractual arrangements with GPs, and in particular demand management initiatives that may come into play over the next 12 months, could see a change in GP requesting patterns.

Report summary 2011/12p y /

• Staffing levels are down slightly on average but there have been some large decreases• Staffing levels are down slightly on average, but there have been some large decreases in the percentage change in the Non‐teaching Cluster, where staffing levels are around 8% lower compared with last year.  Consultant level staff (Medical and Clinical Scientist) are down significantly Biomedical Scientists have also decreased in all clustersare down significantly.  Biomedical Scientists have also decreased in all clusters.

• The above changes in staffing and workload have led to an increase in the number of l ff i E l d/NI i h ffi i i hrequests per total staff in England/NI, suggesting that efficiency improvement schemes 

(largely staff reduction) are starting to impact on benchmarking data.  Tests per total staff in Scotland have decreased slightly.

• Costs have increased slightly on average, but there is great variability across laboratories, and in any case the average increase is lower than the rate of inflation, suggesting that laboratories are starting to see a positive impact from cost savings programmes.  This has been driven largely by the decrease in staff, and in actual fact non‐pay costs have increased in all clusters.  The Non‐teaching Cluster in particular 

ld b h d ff l k h d h hwould appear to be having difficulties keeping their non‐pay costs down, which impacts on the overall cost per request.

Report examplesp p

Report examplesp p

Report examplesp p

Report examplesp p

Analysis toolsy

Contact Details

D id H ll d O ti L d/S i A l t• David Holland, Operations Lead/Senior Analyst– Telephone: 01782 733277– Email: d holland@keele ac uk– Email: d.holland@keele.ac.uk

• Gill Trigg, Project Adminstrator/Analyst– Telephone: 01782 733755Telephone: 01782 733755– Email: g.s.trigg@keele.ac.uk

Other Tests for DiscussionTest Question Suggested Question/CommentAcinetobacter Screening Bacterial Culture and Identification

Antenatal serology screen (Hep B, Rubella, Syphilis, HIV)

Serology

Anti‐Streptolysin O titre Streptococcal Antibody

B cepacia Cystic Fibrosis respiratory culture

Resp & Sputum Secretions

Bacterial Sens & ID Tests  Not request

BK virus DNA Mol OtherChlamydia antibody Resp PanelChlamydia Serology Resp PanelCryptosporidium & Giardia EIA Faecal Antigen

Cryptosporidium and Giardia EIA Faecal Antigen

EBV Ab SerologyFaecal viral PCR Mol OtherFluid Microscopy Not requestGram staining Not requestHelicobacter antigen Faecal AntigenHep B markers  Do we need to put in individual lines for Anti HBc IgG, IgM etc?Hepatitis B core IgMHepatitis B e AntibodyHepatitis B e AntigenHepatitis B markers (not noted above)Hepatitis B Sequencing Mol Other

Hepatitis E IgG/IgM Serology Do we need to put in individual lines for Hepatitis E Serology?

Hepatitis E IgMHepatitis E IgMHepatitis E SerologyHepC PCR (excluding viral load) Hep C RNAHIV Sequencing Mol OtherHSV PCR Mol OtherHTLV Are we really still looking for these?HTLV 1&2HTLV 1&2HTLV 1/2 antibodyHTLV SerologyHTLV1HTLVI & II Antibody

Legionella respiratory culture Sputum

Other Tests for Discussion

Legionella respiratory culture Sputum

Meales Presumably MeaslesMeasles RNA Mol OtherMeningococcal PCR Mol OtherMisc referred tests Not requestMumps RNA Mol OtherMycoplasma antibody Resp Panel

Mycoplasma IgM Resp PanelN gonorrhoeae PCR Mol OtherN.gonorrhoea Bacterial Culture and Identification

N.gonorrhoeae PCR Mol OtherNo sample Not requestNorovirus PCR Mol OtherOther assorted enteric ???

Other assorted serology ???

Other parasitology ???Parasitology OCP Microscopy (cryptosporidium and OCP)

Pneumocystis IF for pneumocystisQuantiferon gold TB test Interferon Gamma DetectionReferred tests (culture, molecular, serology)

Not request

Rejected Specimens Not requestRespiratory Mycology Resp & Sputum Sectetions

Respiratory PCR strip Mol Other

RSV  IF for respiratory viruses (include here OR in  Resp Panel if serology'virology' 

Rubella PCR Mol OtherSterility Tests Non Clinical Samples (eg food, water, 

environmental)

Store serum Not requestStored Not Tested Not requestqStored samples Not requestStored Transplant blood Not request

T.pallidum PCR Mol OtherTBQ ???

Molecular Assays for DiscussionMolecular Assays for Discussion

Assay NotesNeiseria gonorrhoeae PCR Are these undertaken separately or as part of a duplex with Chlamydia, if the 

latter should they be counted separately?

Chlamydia/GC Duplex Should these not be counted with Chlamydia?

Neisseria gonorrhoeae (projected annual workload)

Why are we capturing future activity?

Other Multiplex PCR What is included in this?

PUO multiplex What is included in this?

Human Papillomavirus for Why are we capturing future activity? We need to make sure that is is capturedHuman Papillomavirus for Cervical Cancer Screening Programme (Contracted annual workload for 2012/13)

Why are we capturing future activity? We need to make sure that is is captured either in the Microbiology report or Cellular pathology report not both. Will need to discuss how molecular activity is captured as we progress to integrated molecular diagnostic labs.

Assay Trusts

Other Molecular tests identified but no activity

Assay Trusts

NHS Forth Valley NHS Highland (Raigmore)

Borrelia burgdorferi 0

HBV PCR 0

HCV Genotyping 0HCV Viral Load 0

Hepatitis B genotype 0Herpes simplex (type specific) 0

HIV genotype 0HLA‐B*5701 0Meningococcal PCR 0

Possible Quality Metrics

Evidence of laboratory working with Clinicians to identify system errors in delays; to implement corrective actions to reduce reworking and patient inconvenience

The number of specimens rejected/repeated due to wrong sample/container, specimen leaking, delay in transport

Possible Quality Metrics

Evidence of laboratory working with GP practices to encourage the use of the NHS number as a primary patient identifier

The number of specimens with patient NHS number identified on request(Para 3.18, The Operating Framework for the NHS in England 2011/12)

Evidence of service quality The number of patient and user complaints (written or verbal) recorded by pathology departments which either involves or originated in pathology. 

Ease of access by clinical user to results The number of GP practices that have electronic orders and results reporting systems connected 

Pathology services shall participate in CPA accredited EQA schemes, if available, covering all analytical areas of the service repertoire. In the absence of a CPA accredited EQA scheme covering the area, the pathology service shall participate in an alternative EQA scheme

The registration and laboratory performance records for all analytical schemes relating to tests and profiles in the repertoire shall be available

pathology service shall participate in an alternative EQA scheme covering this aspect of the service repertoire. The pathology service shall make alternative arrangements for quality assurance if no EQA scheme exists.

The laboratory shall state whether or not it offers results directly to  The percentage of results actively delivered directly to patients, patients in those cases where both patient and requesting clinician have requested it. 

calculated using laboratory accession numbers, not individual analytes

Clinical advice on appropriate laboratory investigations and on the interpretation of test results is of increasing importance therefore 

Percentage of days in which requests for clinical advice are responded to within 30 minutes (including out of hours).p g p

clinical advice to be available 24 hours a day 7 days a week 365 days a year. 

( g )