Regulatory Submissions and the Generation of Quality Data:

The Impact of Quality Assurance in the Regulatory Review Process

Cat BensQuality Assurance Manager, Research Integrity & Compliance Review Office (RICRO) at Colorado State University

Margaret Coyle‐Rees, Ph.D, RQAP‐GLPPresident, Leifheit & Company, Inc.

Carol Lee President, Lee Compliance Assessments

Tammy White Barkalow, RQAP‐GLP Assistant Director, Quality Assurance ‐The IR‐4 Project

Barbara MaddenBranch Chief, Risk Assessment Branch III, US EPA Office of Pesticide Programs

Quality Assurance Professional Role in the Regulatory Review Process

Part 1 The process of data generation and 

submission

Part 2 The data assessment process in the ultimate evaluation of data quality

How do Submitters and Regulatory Authorities know if they have good

data?

Important Considerations for Pesticide/Insecticide Submissions:

• Who’s reviewing? If in the USA, Office of Pesticide Programs (OPP) and their scientific consultantsEPA (Regulatory) Scientific Advisory Board (SAB)European Union (Country) ‐‐ Rapporteur Member State (RMS)Health Canada's Pest Management Regulatory AgencyOthers…for example, IRBs for worker exposure studies, sponsor companies, Int’l Authorities

Study Evaluation:Objectives and guidelines clearly presentedNon‐Guideline study‐ well justified and well explained

Open literature risk assessment‐ relevant (Quantitative) Structure‐Activity Relationships‐‐(Q)SARs

Analogue and chemical category approaches Pesticide research‐ outcome probableSource of the data

Tools for Data Evaluation

Klimisch Method 1

ToxRTool (Toxicological data Reliability assessment Tool) 2

Hills Criteria for Causation 3

Weight of Evidence (WoE) Approach 4

1 Klimisch, et. al, 1997; 2Schneider, et. al, 2009; 3Hill (1965); 4Calabrese, et. al. (1997), Menzie, et. al., (1996)

Chemical Safety Assessment 1

1 Klimisch, et. al, 1997

Is the data Reliable?Is the data Relevant?Is the data Adequate?

Data QualityReliable Data is obtained using standardized methodology in a manner such that the reported results provide evidence of the clarity and plausibility of the findings. ValidatedVerifiableGuideline driven

Relevant Data is a result of tests or experiments that are appropriate for a particular hazard identification or risk characterizationCorrectly describes the effectCredible and probable based upon expert evaluation

Adequate Data is effective for risk assessment purposes.   Forms the basis of clear decision making

Breaking it Down…Reliable Data

Score Definition1

Reliable without Restriction

Conducted according to valid and national/international accepted test guidelines, under GLP; study parameters are comparable to guideline.

2 

Reliable with Restriction

Incomplete compliance with guidelines (e.g., literature studies), non‐GLP, but data are well documented and scientifically acceptable. 

3 

Not Reliable

Incomplete compliance with guidelines (e.g., literature studies), non‐GLP, inadequate or unacceptable methodology and substandard documentation.

4 Not Assignable

Literature studies, insufficient/unsubstantiated experimental details.

Breaking it Down…Relevant Data

Is the test substance being evaluated for its intended use? Is the test system appropriate? Is the dose appropriate for the test species or population? Is the route of administration applicable?

…The extent to which data and tests are appropriate for a particular hazard identification or risk classification.2

2 Guidance on Information Requirements and Chemical Safety Assessment; Ch. R.4: Evaluation of Available Information, European Chemicals Agency (ECHA), May 2008‐ REACH

In the evaluation of available information…

If more than one set of data is presented for each effect, the greatest weight is attached to the most reliable and relevant. 

Weight of Evidence: Integrates information from both guideline and non‐guideline tests, and other types of information that may justify adaptation to the standard testing regime. 

GLP Principles should be preferably considered so that reproducibility and acceptance of the data according to international/national standard methods are guaranteed as state‐of‐the‐art, as far as possible. 

What is the role of the Quality Professional (QAU) in helping to

build a reliable and relevant submission that is adequate for

hazard and risk assessment purposes?

Quality Assurance Unit (QAU) ensures that the…

facilities, equipment, personnel, methods, practices, records, and controls 

…are in conformance with the GLP regulations.

The QAU is a monitoring process management uses to assure itself and study directors, sponsors and regulatory agencies that work was conducted and reported according to the GLPs. 

TFM and the Quality Assurance Unit (QAU)

TFM relies on the QAU to ensure work was conducted and reported according to high data quality standards.  

QAU may also be called upon to adequately assess data quality of non‐GLP studies that may be submitted to the regulatory agency(ies) for review.

Quality Assurance Guidance for Pesticide Registrations- QAU Role:US EPA FIFRA Good Laboratory Practices40 CFR Part 160.3; 160.29; 160.35; 160.185; 160.190; 160.195

Organization Of Economic Cooperation and Development ENV/MC/CHEM(98)17, OECD Principles on Good Laboratory PracticeENV/JM/MONO(99)20, Consensus Document No 4 ‐ QUALITY ASSURANCE AND GLPOECD Advisory Document No 17, APPLICATION OF GLP PRINCIPLES TO COMPUTERISED SYSTEMS

Other Considerations:US FDA 21 CFR Part 58 ‐‐ GLPs21 Part 11 ‐‐ ELECTRONIC RECORDS; ELECTRONIC SIGNATURES21 CFR Part 211 ‐‐ GMPs

International Organization for Standardization (ISO)ISO 9001:2015; ISO 17025

For GLP-Compliant Studies…The QAU verifies compliance of the…  facilities,  equipment, 

personnel,  … with the GLPs, throughmethods,  practices,  records, and  controls…

reviewinspectionverificationreportingmonitoring.

For studies not conducted in compliance with the GLPs…

The QAU may evaluate …  facilities,  equipment, 

personnel,  … through a process of methods,  practices,  records, and  controls…

…in combination with expert evaluation of the data.

review inspection auditing verification reporting (soft) monitoring

Other QAU Services to ConsiderThe QAU may also provide … Training on good practicesAssistance in SOP and protocol developmentReview of manuscripts prior to peer reviewVendor and collaborator assessments and support

Data organization assistance for long term retention ensuring appropriate audit trails are in place

Establish and Utilize Assessment Tools Klimisch Method 1 

Determine if the data has relevance for the required assessment or hazard classification. Is the testing strategy representative of the test substance in the environment?Dose, Exposure, Test System, Environment, etc.

• Have the physical‐chemical properties of the test substance been sufficiently elucidated and consideredin the protocol/study plan?

Determine if the body of work is adequate for the required assessment.

In Summary Studies conducted in compliance with the GLP Principles are 

strongly preferred, owing to the quality and integrity of such data.

Studies conducted according  to standardized regulatory guidelines are also strongly preferred, owing to the same principles as above and because they provide foundational information for comparison purposes.

A well trained QAU plays an essential role in helping test facility management, study directors, sponsors and regulatory authorities understand if the data is reliable, relevant and adequate.

Several tools are available to help submitters evaluate data. The Klimisch Method, as presented here, provides an example of a systematic documentation of data assessment. 

What happens to the reliable, relevant and adequately prepared data once it is

submitted to the US EPA?