iHealth 2016 Clinical Informatics Conference  

Q&A booklet    

for Self Assessment   

and   

Maintenance of Certification (MOC) Part II Credit 

 

2 | P a g e  

 

iHealth 2016 Q&A booklet for Self Assessment and MOC‐II Credit    Purpose AMIA invited the iHealth 2016 workshop and session presenters to submit multiple choice questions (MCQ) associated with their presentations. This was to encourage interactivity as well as to comply with Maintenance of Certification guidelines from the American Board of Preventive Medicine and the American Board of Pathology.  All attendees of iHealth 2016 may use these MCQs to test their knowledge of what they learned in these sessions.   All board‐certified clinical informaticians must engage in answering the MCQs associated with the sessions for which they will claim MOC‐II credit.   American Board of Pathology‐boarded clinical informaticians: acceptable performance in this self assessment activity is defined as answering correctly 75% of the MCQs for the sessions you attended. Copy the text on the next page to send an attestation of your self assessment to pesha@amia.org.   The ACGME competencies addressed by this activity are: Patient Care, Medical Knowledge, Practice‐based Learning and Improvement, Interpersonal & Communications Skills, Professionalism, and Systems‐based Practice. For a full explanation of the ACGME competencies in the context of clinical informatics, see Safran C et al. Program requirements for fellowship education in the subspecialty of clinical informatics. J Am Med Inform Assoc. 2009 Mar‐Apr;16(2):158‐66.   MOC Committee Reviewers and Disclosures: The reviewers engaged in reviewing the submitted questions are: Anupam Goel, Izhar Hasan, Karl A. Poterack, Sandeep Soman, and Amy Y. Wang. These reviewers disclose that neither they nor their life partners have relevant financial relationships with commercial interests related to the content of this activity.   Instructions  The first half of this booklet of about 100 MCQs provides the question and answer options organized by day and by session number. The second half provides the correct answers per question. The answers are followed with explanations and suggested readings for more information. The booklet is bookmarked.   Clinical Informatics Diplomates: How to claim MOC‐II credit  •Log into your account at www.amia.org to access AMIA Central •On the right side, click “My Events” •Click “Apply for Credits” under “iHealth 2016 clinical Informatics Conference” •For “Select Credit Type” click “Physician” •For “Select Physician Credit Type” click “MOC‐II” and select your MOC‐II sessions attended 

O You must claim your MOC‐II credit first for AMIA to keep an accurate record of your MOC‐II credits •Click “Save and Add Additional Credit Type” at bottom of screen •Now for “Select Physician Credit Type” click “Physician” on drop‐down menu, and claim your regular CME sessions •Click Submit •You will be prompted to download your certificate 

Claim credit by June 6, 2016. AMIA reports MOC‐II credits to the ABPM and to the American Board of 

Pathology. We pull data to send reports only within the same year as the activity.  

 

3 | P a g e  

 

Email attestation text for American Board of Pathology‐boarded clinical informaticians:  

 

 

To: Pesha@amia.org  

From: [Use the email you have on file with the American Board of Pathology]  

Subject: MOC‐II credits iHealth 2016  

 

 

I attest that I attended the live activity iHealth 2016 and used the self assessment booklet as my Self Assessment Module (SAM) for those sessions designated as offering MOC‐II credit in the activity.  

I attest that I achieved at least a 75% score on the questions I answered that were associated with the MOC‐II designated sessions that I attended.  

 

 

Name: 

 

____________________________________________   

 

4 | P a g e  

 

Multiple Choice Questions, Answers, Explanations, and References 

 

Wednesday, May 4, 2016, 1:00 PM – 3:00 PM 

WS01: Workshop ‐ Innovative Informatics and Analytics in Medicine 

‐Dingcheng Li, Liwei Wang, Hongfang Liu, et al 

WS01‐1: 

What are some of the challenges of investigating drug interaction signals using large medical record 

databases?   

(a) Defining the longitudinal relationship between drug exposure and adverse drug events in both cases 

and controls. 

(b) Controlling the confounding variables for the drug interaction signals. 

(c) Estimating the false discovery rate of drug interaction signals. 

(d) Defining the proper adverse drug events. 

(e) All of the above.   

 

WS01‐2: 

The increasing volume, detail, and availability of digital health data offers an unprecedented opportunity 

to learn richer, data‐driven descriptions of health and illness. This principle has driven the rapid 

development of computational phenotyping, i.e., discovering meaningful data‐driven characteristics and 

patterns of diseases from increasingly large and complex medical data sets. Deep learning models, such 

as deep neural networks, are an emerging solution for many computational phenotyping problems. 

Which of the following is true in general for deep neural networks?   

(a) Features learned by Deep Neural Networks are easily interpretable 

(b) Deep Neural Networks can learn representations of data 

(c) Deep Neural Networks can only learn linear relationship across features 

(d) Deep Neural Networks are only supervised algorithms   

 

WS01‐3: 

Screening for early signs of dementia in the absence of an effective treatment is advantageous because 

early diagnosis of dementia can:   

A. give the patient and family extra time 

B. improve quality of life of a patient by reducing isolation from social and family activities 

C. reduce the healthcare costs associated with dementia diagnosis in emergency settings 

D. All of the above    

 

5 | P a g e  

 

 

WS01‐4: 

Even with increasing emphasis on capturing clinical information in standard and structured format to 

enable down streaming meaningful use of EMR applications, what is the primary reason that we still 

have much of the clinical information in clinical narratives in EMR?    

A.   Not all EMR systems support structured data entry. 

B.    Clinical narrative is human friendly while the primary function of EMR is to facilitate the care 

communication among the care team. 

C.    It is not possible to capture clinical information in standard and structured format.   

 

WS01‐5: 

Clinical narratives can be structured and codified by a state‐of‐the‐art NLP system with results stored for 

down streaming applications. Why do we need real‐time late‐binding NLP solutions in practice?   

A.    Late‐binding NLP solutions are needed since different down streaming applications have different 

performance requirements. 

B.    For delivery NLP in practice, the latest clinical information in EMR is needed for clinical decision 

making. 

C.   The advance in big data technology has made it possible to deliver real‐time late‐binding NLP 

solutions. 

D. All of the above   

 

WS01‐6: 

What is the biggest concern when we do healthcare knowledge extractions from social media? 

(a) The credibility of healthcare knowledge extracted from social media is not high. 

(b) Patients may not like to reveal their personal health information to others. 

(c) The noise in the social media is so high that the processing is challenging.  

(d) The server may be unstable so that information on line may be gone.  

 

 

WS02: Workshop ‐ Agile Clinical Decision Support 

‐ DuWayne Willett and Vaishnavi Kannan  

 

6 | P a g e  

 

 

WS02‐1: 

To promote more consistent care of patients undergoing colorectal surgery, you've been asked to lead a project to develop new pre‐op and post‐op note templates and order set(s) in your EHR specifically for these patients.  The targeted go‐live date is in 3 months.  Several surgeons are important stakeholders, and although they've all agreed to the idea of using the same set of EHR tools to help standardize care and collect better data, no unanimity exists yet about note or order set content.  On previous projects you've taken a traditional method of getting up‐front "sign‐off" on all exact requirements before beginning work.   For this project, you decide instead to use an iterative, incremental development approach, with time‐boxed development "sprints"; you plan to demonstrate the latest version of EHR tools to a surgeon's meeting every 2 weeks for feedback.     Which of the following best explains why use of this agile development approach is more likely to be successful here than traditional project management?   A. Your team has experience building note templates and order sets. B. The deadline is short, only 12 weeks away. C. Requirements are likely to be discovered and undergo change during order set and note template development. D. The number of stakeholders is too high.    

WS02‐2: 

On rapid‐cycle agile development projects, requirements are often kept lightweight, for example, with a User Story and associated Acceptance Criteria.  The most typical template for a User Story is: "As an X , I want  Y, so that Z ".  When using this template to write a User story for a clinical decision support (CDS) tool which will be displayed to clinicians in an EHR, the best entry for the  placeholder is: A.  The executive sponsor of the project B.  The clinician who will see and use the CDS tool C.  The EHR analyst building the CDS tool D.  The patient who will ultimately benefit from best practices promoted by use of CDS   

WS02‐3: 

You are embarking on a redesign of your hospital's venous thromboembolism (VTE) prevention order set.  The new version will dynamically tailor the prophylaxis options to be presented to the clinician based on the patient's VTE risk category, using an accepted risk scoring system.  You have the following User Story: "As a clinician, I want to be provided guidance on the most appropriate VTE prophylaxis measures to order for a given patient, so that I can institute the recommended DVT prophylaxis interventions, and ultimately reduce my patients’ chances of suffering a DVT and/or pulmonary embolus." You want to measure effectiveness of the redesigned order set as part of your CDS Benefits Realization program, by selecting one or more metrics to measure before and after implementation. 

 

7 | P a g e  

 

 Given this User Story, which one of the following potential measures is most appropriate to select?    A. Percent of inpatients on risk‐appropriate VTE prophylaxis B. VTE order set usage as a percent of total order set usage C. Frequency distribution of order selection within the VTE order set D. Ratio of VTE prophylaxis orders placed via the order set versus placed outside the order set     

WS02‐4: 

Epidural catheters for pain control are frequently placed by anesthesiologists for patients primarily managed by other services. Administering anticoagulants to patients with an epidural catheter may be associated with increased risk of epidural hematoma and neurologic damage. You've been asked to create an alert for anyone ordering an anticoagulant or antiplatelet medication for a patient with an epidural catheter, to alert them of this risk. As you listen to the experts discuss when the alert should fire, you learn that exception conditions apply, e.g., for low‐dose VTE prophylaxis. You want to capture the logic to define unequivocally for which sets of conditions the alert should and should not appear.  The optimal model for depicting this logic is a:   A. Swimlane Workflow Diagram B. User Interface (UI) Storyboard C. Use Case Diagram D. Object Diagram E. Decision Tree     

WS02‐5: 

An automated acceptance test is written before development of a clinical decision support alert, specifying the decision logic it should employ when evaluating whether to display to clinicians. The automated test is red (fails) initially, and then becomes green (passes) once the EHR analyst has successfully finished their development. Which best describes this use of automated testing?    A. Regression testing B. Test‐driven development C. Exploratory testing D. Unit testing     

WS02‐6: 

Your liver specialists want to increase the rate at which patients with cirrhosis are screened for hepatocellular carcinoma, in line with published guidelines.  Accordingly, a clinical decision support alert has been reminding providers to order a liver imaging test if one has not been performed within the recommended screening interval.  The alert checks for presence of cirrhosis on the Problem List, and for a completed order in your EMR for any of a list of imaging procedures.  Your CDS monitoring program 

 

8 | P a g e  

 

recently detected a sharp rise in the frequency at which this alert is displaying to providers.  What is the most likely cause for the abrupt increase in frequency of alert display?    A. The national society guidelines were recently updated to eliminate the screening recommendations, and the physicians' practice reflects the new guidelines. B. Your local physicians have collectively decided that the screening practice is low‐yield and not cost‐effective, and have abandoned it. C. A recent operating system software security patch on your workstations has caused the CDS alert to display inappropriately D. Radiology has begun using a new orderable in your EMR which is not contained in the "Liver imaging" procedure list used by the CDS alert, causing it to display inappropriately.      

WS03: Workshop ‐ Data Science, Big Data and Nursing’s Contribution to 

Knowledge Value 

‐Connie White Delaney, Bonnie Westra, Thomas Clancy, Karen Monsen 

WS03‐1: 

Which of the following is true about the fundamental shift to the 4th paradigm or big data research?   A. Having more data means increased sampling error  B. Pattern discovery and hypothesis generation are primary goals C. Big data requires a theory‐based analysis D. It is relatively simple to show causation because of the sheer magnitude of the data     

WS03‐2: 

Meaningful Use Stage 2 Rule requires use of SNOMED CT for which purpose? A. Clinical knowledge representation B. Transport of data between systems C. Process interoperability D. Translation from research to practice    WS03‐3: 

You are the chief nursing information officer (CNIO) of an integrated system of seven hospitals all of which store their electronic health record data in a system wide centralized data repository (CDR).    The CDR (approximately 10 million patient records covering a span of 8 years) is comprised of structured data from discrete fields such as demographics, flow sheets, vital signs, provider orders, and test results.   Narrative nursing notes are present, but in unstructured text format and not coded using a standardized nursing language.   As the CNIO you are interested in developing a model that predicts patients at high risk for developing pressure ulcers and alerts providers through the EHR.  However, the pressure ulcer 

 

9 | P a g e  

 

data is stored in a mix of structured flowsheets and unstructured text in notes.  And the health system does not have data scientists with the skills to build such models.  As the CNIO which of the following is the most appropriate first course of action to take?    A. Build consensus and create a pressure ulcer information model B. Recruit and hire a data scientist who can build predictive models C. Purchase additional hardware and software to allow processing of big data D. Identify all patients with a ICD9/10 diagnosis code of pressure ulcer and preprocess the data     

WS03‐4: 

You are a researcher in an academic health center and want to investigate how well family nurse practitioners comply with evidence based guidelines for outpatient care of type II adult onset diabetes on a national level. Of the following databases available to you, which database is the best to conduct your analysis?   

A. Medicare Claims Database (Medicare inpatient hospital insurance claims on patients over 65 years of age) B. AHRQ HCUP Database (Cost and quality data from 7 million hospitals) C. CDC National Center of Health Statistics: Vital Statistics (US annual births and deaths only) D. Optum Labs Data Warehouse (commercial health insurance claims linked to inpatient and outpatient EHR data – all ages) E. A clinical data repository from your university medical center (2 million lives of hospital inpatient EHR data)   

 

WS03‐5: 

The value of constructing information models from flowsheet data for research is to…  A. Map similar data to concepts for research B. Standardize all notes into structured documentation C. Assure all clinicians document in the same manner. D. Inform vendors how they should implement EHRs     

WS03‐6: 

Which of the following are examples of research that can be facilitated by inclusion of nursing flowsheet data?    A. Number of medications received within 24 hours B. Lab test results for diabetes C. Pain management for patients D. Comorbid conditions    

 

10 | P a g e  

 

 

Wednesday, May 4, 2016, 3:30 PM – 5:30 PM  

WS04: Workshop ‐ FHIR: A Workshop for Implementers 

‐Charles Jaffe, Alistair Erskine, Viet Nguyen, Russ Leftwich, and Stan Huff 

 

WS04‐1: 

What technical standards were included in FHIR 2.0 to enable security and authentication?    A. Existing ISO standards B. HL7 developed security standards C. Proprietary standards     

WS04‐2: 

What are the requirements for use of FHIR in open‐source or commercial products?    A. FHIR is provided through a creative commons license. B. HL7 membership C. A license fee based upon utilization.     

WS04‐3: 

What individuals may contribute to FHIR development?    A. HL7 members. B. Argonaut Project members. C. FHIR development is open to anyone who registers     

WS04‐4: 

ONC is offering three major funding opportunities for FHIR developers, including the creation of FHIR‐based solutions and an open FHIR Registry. Who is eligible for these grants?  A. HL7 members. B. Argonaut participants. C. Anyone.     

 

11 | P a g e  

 

WS04‐5: 

What is the principle objective of the FHIR Foundation?    A. Accelerate development of FHIR resources and profiles. B. Provide a collaborative environment for FHIR implementation. C. Enable a funding source for subject matter experts.     

WS04‐6: 

What are the training opportunities for FHIR implementers?    A. FHIR‐based application development is taught as a component of undergraduate and graduate school courses at many colleges and universities. B. The FHIR Institute offers hands‐on workshops for both HL7 members and non‐menbers. C. FHIR Tutorials are provided at every HL7 work group meeting. D. All of the above.     

WS05: Workshop ‐ Bundled Payment Initiatives: Harnessing Data to Realize the 

Triple Aim 

‐Tara Borlawsky, Tom Gurgiolo, and Tom Aubel 

WS05‐1: 

The Triple Aim is:   

(a) A framework developed by the Institute for Healthcare Improvement (IHI) for accelerating improvement by rapidly diffusing innovations and new ideas within and between organizations  

(b) An analytic framework quality developed by the Institute of Medicine (IOM) for assessing effectiveness and safety, timeliness and patient‐centeredness, and efficiency or equity of care  

(c) A framework developed by the Institute for Healthcare Improvement (IHI) for optimizing health care including improving patient experience and population health, and reducing the cost of care  

(d) A framework developed by the National Quality Forum (NQF) to identify key drivers of population, opportunities to align quality improvement programs, and measures to fill gaps associated with population health and affordability   

      

 

12 | P a g e  

 

WS05‐2: 

Under the traditional fee‐for‐service (FFS) health care reimbursement models, doctors and other health care providers are paid for each service performed. Alternatively, bundled payment models cover all aspects of the care that a patient receives during the course of treatment for a specific illness, condition or medical event. Which of the following can be a source of savings if using a bundled payment model instead of a FFS reimbursement model?    (a) Negotiated total cost that is less than the sum of the disparate services  

(b) Additional charges can be applied for complications that may arise from the care  

(c) Providers can decide which services are included or excluded in an episode of care  

(d) Any savings that arise from the lower cost for the bundle benefit the payer only    

WS05‐3: 

The Centers for Medicare and Medicaid (CMS) Comprehensive Joint Replacement (CJR) initiative:    (a) Was created by the Affordable Care Act to test innovative payment and service delivery models that have the potential to reduce Medicare, Medicaid, or Children’s Health Insurance Program (CHIP) expenditures  (b) Is a bundled payment model that is mandatory in 67 geographic regions, and aims to support better and more efficient care for Medicare beneficiaries undergoing the most common inpatient surgeries  (c) Is designed to increase access to patient‐centered medical homes and support retrospective episode‐based payments for acute medical events  (d) Is a voluntary bundled payment model that incentivizes increased coordination of care among hospitals, physicians, and post‐acute care providers     

WS05‐4: 

Potentially Avoidable Complications (PAC) include events such as post‐surgical infections, blood transfusions, pressure ulcers, or unplanned readmissions, and associated costs can contribute to the overall cost of an acute care episode. With respect to creating a payment bundle, the financial risk associated with PAC costs is considered:    (a) The burden of the healthcare payer  (b) An equal “shared cost” between the payer and the provider  (c) The burden of the healthcare provider  (d) An equal “shared cost” among the overall risk pool based on the health care recipients   

 

13 | P a g e  

 

  

WS05‐5: 

Which of the following are components of any episode construction logic:    (a) Provider rate schedule, trigger event, procedure codes  (b) Trigger event, patient co‐morbidities, geographic region  (c) Risk score calculation, provider rate schedule, trigger event  (d) Trigger event, complication codes, provider assignment     

 

WS05‐6: 

Fraud, waste and abuse divert significant resources away from necessary care that is covered by federal and commercial program rules. A common potential waste of the healthcare system is to admit a patient to the hospital when an observation or outpatient setting would have been sufficient.  Which of the following types of information would be most appropriate to identify claims that might have been overpaid due to the patient being in an inappropriate setting?    (a) Inpatient length of stay, admission type, primary diagnosis code  (b) Patient age, admission type, primary diagnosis code  (c) Inpatient length of stay, discharge status, patient gender  (d) Admitting physician type, principal procedure code, primary diagnosis code    

   

 

14 | P a g e  

 

Thursday, May 5, 9:30 AM ‐  10:30 AM 

 

S02: Panel ‐ Towards Better Health Outcomes – Informatics Role in Health Care 

Delivery ‐ Ravikumar Komandur Elayavilli, Sunghwan Sohn, Vinod Kaggal, and Hongfang Liu 

S02‐1: 

Why is information in unstructured data sources such as clinical notes important for a clinical decision support system like MayoExpertAdvisor?    A. Structured data have completely wrong information  B.  Structured data sources contain no information  C.  Unstructured data contain the most right information  D. Structured data need to be reconciled with information in unstructured data sources to provide the right context to make the right care recommendations    

S02‐2: 

Despite extensive efforts to monitor and prevent surgical site infections, real‐time surveillance of clinical practice has been sparse and expensive or non‐existent. Which of the following reasons best explains this?   A. Currently there is a lack of measurement and reporting of surgical site infections.  B. Surgical site infections are very complicated for clinicians to identify.  C. Lagged abstraction of surgical site infection due to manual chart review and delay from capture to access data.  D. The definition of surgical site infections is not well aligned with clinical practice.     

S02‐3: 

Is health care data "big data"? If not, why do we need a big data environment to process health care data?   A. Health care is big data and many times bigger than social media and astronomical data  B. Health care data is not big data in a strict sense, but the big data technology stack helps in processing data to deliver near real‐time solutions for clinical care needs.  C. Health care data is not big data and we do not need big data technology to solve health care problems  D. Health care data is not at all big data but big data infrastructure is being used as it is a hot topic.   

 

15 | P a g e  

 

S03: Presentations ‐ Usability 

 

A Novel Process for Electronic Health Record (EHR) Adoption which Challenges 

Traditional Adoption and Support Paradigms. – Joel Gordon 

S03‐1: 

The distribution of EHR skill scores from an EHR skill assessment tool in a primary care health system resembles the predictable pattern as described by Everett Rogers in his “Diffusion of Innovation” theory. This theory describes sub‐groups as innovators, early adopters, early majority, late majority and laggards.  When evaluating these sub‐groups of providers in this study the authors found which one of the following statements to be true?    A. The Diffusion of Innovation predicts and the study found a majority of providers fit in the innovator and early adopter sub‐groups.  B. The age and gender of the provider were strongly related to the level of adoption and EHR skill.  C. The outcome measures for the patients receiving care from the more adopted sub‐groups were statistically better than the outcomes measured for the late majority and laggards.  D. The average score for EHR satisfaction in each distribution group incrementally increased as one progressed from laggard to higher innovator sub‐group.  E. The dissatisfaction rate was significantly higher for the sub‐groups with lower adoption and skill level (laggards and late majority).     

Factors Associated with Clinician Stress and Burnout: Results from the MS‐

Squared Study (Minimizing Stress, Maximizing Success from Health Information 

and Communications Technologies) – Philip Kroth 

S03‐2: Which of the following is NOT one of the major factors physicians commonly report about health 

information and communications technologies that contribute to their job stress:   

A. Slow or unpredictable system performance 

 

B. Having all patient information together in one place 

 

C. Ergonomic consequences such as eye strain, back pain, or hand/wrist pain 

 

D. Not enough time in clinic to complete patient documentation.   

 

 

16 | P a g e  

 

 

The Role of the Patient and Community in Health Information Technology 

Success – Theresa Cullen 

S03‐3: A community health worker provides clinical care to patients in her remote community. The 

community health worker has approached the CMIO of their base clinical hospital to inquire about 

possible changes to the interface to improve data collection in the field. The electronic health record 

was traditionally designed to facilitate the recording of community‐collected data using standardized 

human factors techniques endorsed by the vendor. What is the best way to develop and include the 

needs of the community health worker within the end product using an agile software development 

process?   

A.  Develop a community health worker persona that reflects the needs of the CHW 

B. Use a standard requirements process to identify the data fields that are needed by the community 

health worker  

C.  Ask the Community Health Worker to join the development team and provide ongoing input into the 

agile development process 

D.  Have a programmer develop wireframes that include the data fields that the CHW indicates are 

needed 

 

Thursday, May 5, 11:00 AM ‐  12:00 PM 

 

S04: Panel ‐ Informatics Strategies and Systems Engineering Tools for Making 

Acute Care More Patient‐Centered 

Kumiko Schnock, James Benneyan, Anuj Dalal, and Esteban Gershanik 

S04‐1:  

Which of the following statements is false with regard to the measuring unit‐based risk to patient 

safety?   

a)      Staffing of nurses below target levels has been associated with increased mortality 

b)      High patient turnover has been associated with increased mortality 

c)      Low nursing‐to‐patient staffing ratios decreases risk of hospital acquired adverse events (including 

falls, hospital acquired infections, pressure ulcers) and readmissions 

d)      a and b   

 

 

17 | P a g e  

 

S04‐2: Which of the following statements is true with regard to the Patient safety checklist?   

a) The Patient safety checklist is designed for use by care coordinators to promote a continuum of 

transition of care  

b) The Patient safety dashboard is a patient centered communication tool to provide actionable plans 

for patients and family to prevent adverse events during their hospital stay 

c) The Patient safety dashboard provides information regarding hospital acquired harm as well as 

adverse events reported by a hospital incident report 

d) The Patient safety checklist uses data that is put into the patient safety dashboard to communicate 

with care team members    

 

S04‐3: Which of the following related to the patient and family perspective of care concerns and safety 

reporting is true:   

a)      A patient or family perspective of safety threats may differ from a clinician’s perspective of safety 

threats 

b)      Fear of retaliation never occurs for patients or families that have safety incidents or threats they 

want to report 

c)       Only patients and families with low health literacy need to be educated about how to report safety 

threats 

d)      Care concerns from the patient and family perspective are narrow in scope and are not safety 

threats   

 

S05: Presentations ‐ Care Coordination 

The HIMSS Transitions of Care Framework – Michael Victoroff 

S05‐1: In the Transition of Care Framework, the Element labeled “Information Payload” refers to 

relevant information that should accompany the person being transferred. This item is among the most 

often deficient in practice. Missing information during transitions is a significant cause of patient harm, 

provider inefficiency and irritation for everyone. Which best explains why this component of care 

transitions is so difficult to execute?   

A. There is currently no standard format for patient transfer and referral information. B. Necessary TOC information can’t be effectively transmitted until there is better electronic interoperability between EHRs. 

C. “Summary” information generated by EHRs is generally poorly formatted, inadequately filtered, usually incomplete and often untrustworthy; a reliable “transition of care message” must be manually created, involving significant provider effort. 

D. There is currently no reimbursement code for generating patient transfer and referral information. 

E. State Boards of Medicine do not consider transferring patients without adequate information to be “unprofessional conduct.”   

 

18 | P a g e  

 

 

S05‐2: Another Element of the TOC Framework is “Scope.” This refers to the expectations of all parties 

about what the receiving party is supposed to do. Confusion, error and harm result when the sending, 

receiving and transitioning parties are not clear about goals and contingencies. Healthcare professionals 

generally have a “loose” understanding about the differences between a “referral for specialized advice 

or testing,” a “consultation with the potential for a procedure,” a “transfer of responsibility for ongoing 

care,” and similar categories. What process seems most likely to reduce misunderstandings between 

providers?   

A. Create a high‐level, inter‐professional commission with participation from all major specialties, to 

propose a uniform definition of the most common types of transition scenarios, with standardized 

language and terminology to assure optimal understanding by all parties. 

B. Make determining “Scope” part of TOC workflow, and incorporate a statement verifying 

understanding by sender and receiver into the documentation process. 

C. Lobby state legislatures to include a requirement for a “Scope” statement in every TOC form. 

D. Explain the purpose and goals of every TOC to the patient or family. 

E. Create a reimbursement code that covers the effort spent communicating with colleagues and 

patients.     

 

S05‐3: Task‐Oriented Medicine is the approach to care management that organizes patient care plans 

around future needs. To be effective, the Task List must be attached to the patient, rather than tethered 

to any provider. While each  provider may have a local reminder (“Tickler”) system to track follow‐up 

items for its own purposes, the Task List must be visible to the patient, caregivers and all providers. 

What is the biggest challenge in transmitting a Task List to the receiving provider, as part of a care 

transition?   

A. There is no standard format for a Task List. 

B. There may be items on the Task List that the patient or family should not see 

C. There will be items on the Task List that are irrelevant to the receiving provider 

D. The Task List potentially creates liability for sender and receiver, by implying a duty to follow up 

E. It is essentially impossible to reconcile separate Task Lists among multiple providers without some 

kind of “master list” that can be continuously updated on a shared network   

 

 

 

 

19 | P a g e  

 

The Longitudinal Care Plan Cycle: Understanding the Interface Between 

Patients, Caregivers, and Healthcare Teams in Chronic Disease Care – Kim Unertl, 

Christopher Simpson, Laurie Novak 

S05‐4: After assessing the three vendor products, the practice selects System X. Features of the selected 

system include: integrated collaborative longitudinal care planning for individuals with a chronic disease, 

secure messaging for the care team and the patient, patient portal features focused on chronic disease 

management, and modules for collection of patient‐generated health data. The system is gradually 

deployed across the various clinics. Over the next few weeks, complaints are received from patients and 

healthcare teams about delays, miscommunications, and problems with the new system. 

 

Which of the following best explains this observation?   

A. People are resistant to change and do not have rational reasons for being concerned about the new 

system. 

B. The new system requires new perspectives on care, and will require changes in care processes and 

possibly also in staffing to improve support for chronic disease care. 

C. Despite their best efforts at system evaluation, the clinic leadership picked the wrong system for this 

clinic practice. 

D. A “big bang” implementation is empirically better than a gradual system deployment; the clinic 

should have implemented the system across all clinical areas at one time.   

 

S05‐5: An ambulatory clinic practice is considering several new technology options focused on improving 

support for individuals with a chronic disease and their healthcare teams. The clinic leadership does an 

initial assessment of the options and decides to have three vendors provide in‐person demonstrations of 

their chronic disease care modules. The vendors have agreed to present system features and allow 

hands‐on interaction with their products. Which of the following groups are most appropriate to include 

in the systems demonstrations and further assessments?   

A. Only clinic leadership 

B. Clinic leadership and physicians 

C. Clinic leadership and all clinical staff (e.g., nurses, nurse practitioners, physicians) 

D. Clinic leadership, clinical staff, and patients/families   

 

   

 

20 | P a g e  

 

Thursday, May 5, 1:30 PM ‐  2:30 PM 

S06: Panel ‐ HeartLink Auscultation System Development and Proof of Concept 

in Yunnan Province, China ‐ Lee Pyles, Quan Ni, Pouya Hemmati, Andreas Tsakistos, and Bistra 

Zheleva 

S06‐1: What are challenges for screening and diagnostics of congenital heart diseases in low and middle 

income countries?   

A. lack of availability of health worker trained in auscultation or echocardiography 

 

B. lack of clinical guideline 

 

C. lack of government and non‐government support, payer coverage 

 

D. All of the above   

 

 

S06‐2: Why did CHL think that the stethoscope program will help develop cardiac services in LMIC? 

A. The program will provide a link between referring providers in communities and cardiology specialists 

in the LMIC cardiac center 

 

B. Cardiologists in the US can find patients who need operations to boost numbers 

 

C. The high profile procedure will attract more donors 

        

D. Telemedicine is sexy   

 

S06‐3: What was the most common murmur that was heard in the “HeartLink” Project?   

A. Austin Flint rumble 

B. Murmur of small muscular VSD 

C. Still's murmur 

D. Venous hum 

E. Mitral valve regurgitation   

   

 

 

 

21 | P a g e  

 

S07: Presentations ‐ Quality Improvement 

Clinical Documentation Improvement (CDI) Initiatives That Drive Quality 

Performance and Financial Reimbursement ‐ Angie Curry 

S07‐1: Historically, in the inpatient setting, data collection occurred after the patient was discharged. 

After discharge, HIM professionals checked the record for discrepancies that could hinder code 

assignment. HIM professionals would then query the provider for clarification either by paper queries or 

other disconnected systems that were not part of the permanent medical record. Assuming national 

reporting initiatives require the specificity and accuracy of clinical documentation, which is the most 

vital role a CDI program would play within an organization?   

A. Investigate the progression of the patient through the healthcare system, making sure all acute and chronic conditions treated during hospitalization are reported and supported via clinical indicators within the EMR for the most accurate medical record. 

B. Investigate the progression of the patient through the healthcare system solely for the purpose of optimal reimbursement 

C. Improve the quality of care through advanced care coordination to in‐network facilities in order to prevent revenue leakage 

D. Reduce paper and inefficiencies while complying with Centers for Medicare and Medicaid Services (CMS) readmission measures 

E. Hire additional Full‐Time Equivalents (FTEs) to review more payers post ICD‐10 implementation    

 

 

S07‐2: HHS set a goal of tying 30 percent of traditional, or fee‐for‐service, Medicare payments to quality 

or value through alternative payment models, such as Accountable Care Organizations (ACOs) or 

bundled payment arrangements in 2016, and tying 50 percent of payments to these models by the end 

of 2018.This is the first time in the history of the Medicare program that HHS has set explicit goals for 

alternative payment models and value‐based payments. Which of the following best explains how a CDI 

program can impact government regulations?   

A. Connect the entire care team to increase knowledge and visibility of the working DRG 

B. Create commitment, build competence, and achieve results such as at‐risk revenue 

C. Hire additional FTEs to focus on care coordination and Centers for Medicare and Medicaid Services (CMS) readmission measures 

D. Review all payers, and help establish an ACO/shared risk with a certain payer 

E. Educate skilled nursing facilities and other post‐acute facilities in your provider network on these initiatives   

 

 

 

22 | P a g e  

 

Adherence to Sinusitis Treatment Guidelines in the evisit Setting: A Quality 

Improvement Project ‐ Kevin Smith  

S07‐3: A health care system wishes to improve appropriate antibiotic prescribing practices for the 

treatment acute bacterial rhinosinusitis (ABRS) in the virtual care (e‐visit) setting by improving clinician 

adherence to an evidence‐based clinical guideline. The initial baseline data demonstrated clinician 

adherence to the ABRS 95.2% of the time. Data analysis revealed that the most common reasons for as 

being identified as not adherent to guidelines were short duration of patient sinus symptoms and a lack 

of ABRS specific symptoms. Given the above information, which is the most appropriate intervention to 

improve adherence to the evidence‐based ABRS clinical guideline?   

A. Add a link to the Infectious Disease Society of America web site on the clinician screen. 

B. Incorporate clinical decision support by highlighting patient history text related to the duration of 

ABRS symptoms and specific symptoms consistent with ABRS, and display a summary of the guideline 

criteria within the clinician workflow. 

C. Provide a variety of pop‐up reminders and alerts reminding clinicians of the importance of antibiotic 

stewardship. 

D. Disable e‐prescribing functionality for antibiotic medications to prevent clinician over‐prescribing.   

 

Thursday, May 5, 2:45 PM – 3:45 PM 

S08: Presentations ‐ Data Sciences 1 

IBM Watson Analytics Academic Program ‐ Robert Hoyt, Dallas Snider 

S08‐1: An accountable care organization is concerned about their increased heart failure readmission 

rate. They have a data warehouse with two years of inpatient data. What is the standard data science 

process sequence to analyze their data?  

a. Exploratory data analysis, data pre‐processing, visualization, modeling 

b. Visualization, modeling, data pre‐processing, visualization 

c. Data pre‐processing, modeling, exploratory data analysis, visualization 

d. Data pre‐processing, exploratory data analysis, modeling, visualization   

   

 

23 | P a g e  

 

S08‐2: A hospital is concerned about its Hospital Compare ratings for AMI 30‐day mortality, compared to 

area hospitals. They have downloaded the spreadsheet available on the Hospital Compare web site. 

They have purchased IBM Watson Analytics. What data analytical processes can they utilize with this 

platform?        

a. Clustering, neural networks, visualization 

b. Exploratory data analysis, predictive analytics, visualization 

c. Neural networks, classification, regression 

d. Exploratory data analysis, clustering, visualization    

 

Applying NLP to Identify Complex Care Patients ‐ Shantanu Phatakwala, Andrew Placona 

S08‐3: There are many Continuity of Care Document (CCD) software vendors that sell Electronic Health 

Record (EHR) products for an outpatient setting. While HL7 provides coding standards, it has been noted 

that there are vast inconsistencies with how data are reported among vendors. Furthermore, each 

software package is proprietary.  What is likely the most difficult challenge in integrating data from a 

CCD?   

a. The vast number of potentially relevant number of concepts in an EHR 

b. Reconciling various coding systems (Snomed, CPT, RxNorm) 

c. Handling a variety of data types 

d. Inconsistent data structure   

   

 

24 | P a g e  

 

S09: Presentations ‐ Workflow 

The Relationship of Provider Typing Speed to Adoption and Use of a Structured 

Documentation Tool ‐ Joel Gordon 

S09‐1: The costs for transcription are a significant percentage of overhead in running a medical clinic.  

These costs need to be analyzed as the healthcare dollar becomes increasingly tight. Which one of the 

following statements is true regarding the costs of transcription?   

A. Both US trade law and HIPAA privacy rules forbid transcription companies from outsourcing 

transcription to off shore (non‐US) work‐staff. 

B. In a typical primary care office the transcription costs for a document average about 5 cents per 

document/encounter. 

C. In a typical primary care office the transcription costs for a document average about 50 cents per 

document/encounter. 

D. In a typical primary care office the transcription costs for a document average about $5 per 

document/encounter. 

E. In a typical primary care office the transcription costs for a document average about $15 per 

document/encounter. 

F. When determining costs of documentation one can consider structured documentation as a NO COST 

option for documentation creation when comparing to transcription.   

 

S09‐2: The average typing speed of primary care providers measured in a small study in a multi‐clinic 

health system was ____ wpm.   The range was _____ to _____.   The number of documents that were 

generated using self entry/structured documentation doubled in the providers that had a keyboarding 

speed measured at above  _____ wpm.   

A. These numbers don’t matter because providers are not secretaries and will not do “clerical work.” 

B. Average typing speed was 74 wpm, ranging from 43 – 121 wpm. A notable increase in success was noted if the provider typed more than 85 wpm. 

C. Average typing speed was 42 wpm, ranging from 19 – 101 wpm. A notable increase in success was noted if the provider typed more than 50 wpm. 

D. Average typing speed was 22 wpm, ranging from 11 – 43 wpm. A notable increase in success was noted if the provider typed more than 20 wpm. 

E. This study proves that a provider can generate more documents with self‐entry/structured documentation if they increase their typing speed using typing tutor programs.   

 

 

 

 

25 | P a g e  

 

Analytics for Optimization of in‐Hospital Workflows: An Application in 

Rehabilitation Therapy Service ‐ Krishnaj Gourab, Christina Kokorelis, John Adamovich, Albert 

Mears, & Barbara Rucizka 

S09‐3: Your department is migrating from a predominantly paper‐based to an electronic system for 

triaging patients. You have been tasked with mapping the current workflows and determining how best 

to implement them using electronic means. One of the goals of implementing this electronic system is to 

improve operational efficiency. Which of the following may jeopardize this goal?  

 

A. Simply computerizing existing (manual practices) leading to unnecessary sequencing of tasks 

B. Not allowing scope creep 

C. Allowing a resource to practice its specialty and use its specific qualities 

D. Leveraging new developments in networking and distributed databases to eliminate barriers between geographically scattered resources   

  

S09‐4: You have been asked to constitute a division of analytics that will support quality improvement 

initiatives across your health care system. Which of the following is an accurate statement regarding 

data, analytics and quality improvement?   

A. The medium (for example, an interactive dashboard vs. a static report) via which information is presented is as important as the relevancy of the information. 

B. Real time analytics must include indicators aligned to the strategic/performance goals and have built‐in signals to suggest that an action is needed. 

C. From an analytics perspective, data and process are distinct entities and should be kept separate in their development cycle. 

D. Quality cannot be quantified, and therefore is not amenable to measurement, monitoring and analysis.   

 

   

 

26 | P a g e  

 

Thursday, May 5, 4:15 PM–5:15 PM 

S10: Panel ‐ Comparative Effectiveness Research on Electronic Health Records: 

An Overview of the Clinical Informatics Research Collaborative ‐ Dean Sittig, Carl 

Vartian, Peter Embi, & Adam Wright  

 

S10‐1: Implementing, configuring, and optimizing electronic health records (EHR) in large healthcare 

delivery systems involves making thousands of configuration decisions, hundreds of workflow changes, 

and development of hundreds of clinical content artifacts (i.e., order sets, alert logic, default values). 

Many of these decisions, changes, and artifacts have the potential to lead to unintended adverse effects 

on patient safety, clinician efficiency, and organizational performance. Which of the following is the best 

way to gather evidence to support various configuration decisions that your organization must make? 

a. Ask your colleagues at other organizations and see what they think is best 

b. Gather data from different organizations to figure out which organizations have the best performance and then compare and contrast the configuration decisions of the best organizations with those of the lower performing organizations. 

c. Ask your vendor what they think is best. 

d. Ask your favorite clinical champions in your organization what they think is best   

 

 

S10‐2: Comparative effectiveness research (CER) on Electronic Health Records (EHRs) is designed to 

generate evidence to help inform decisions regarding the design, development, configuration, 

implementation, use, and evaluation of EHRs. It seeks to accomplish this by gathering evidence on the 

safety and effectiveness of various features, functions, uses, and outcomes associated with 

implementation and use of different EHRs across different healthcare organizations. Before conducting 

such studies one should…   

a. Work with your local human subjects protection committee (IRB) to obtain permission to review medical records, if required, and provide protection for the IT professionals or doctors (a.k.a. human subjects) you are interviewing to identify best practices. 

b. Ask your boss if it is ok to talk to some of your friends about different EHR configurations.  

c. Ask your EHR vendor if they can provide you with access to other organizations’ EHR so you can look for yourself to see how they have configured various applications. 

d. Just make the calls, it is always easier to ask for forgiveness than permission.   

   

 

27 | P a g e  

 

S10‐3: We have formed the Clinical Informatics Research Collaborative (CIRCLE) to address EHR issues by 

creating a network of applied clinical informatics researchers who are committed to improving our 

understanding of these issues. CIRCLE members are involved in various aspects of the design, 

development, implementation, use and evaluation of all aspects of health information technology with a 

particular emphasis on EHRs. CIRCLE members are encouraged to…   

a. Use the CIRCLE mailing list to exchange jokes and political commentary. 

b. Use the CIRCLE mailing list to conduct surveys regarding important EHR‐related issues. 

c. Use the CIRCLE mailing list to ask for contributions to their favorite charity. 

d. Use the CIRCLE mailing list to seek retirement investment advice.   

 

S11: Presentations ‐ Data Sciences 2 

Applying Data Science to Electronic Health Records ‐ William Feaster, Louis 

Ehwerhemuepha 

S11‐1: Model‐based statistics depend on the specification of a probability model for the random process 

that generates the data (for example, a Normal Distribution). On the other hand, design‐based statistics 

depend on a researcher specifying a fixed population and the random process of selecting a sample is 

completely under the control of the researcher. Which of these studies would require a design‐based 

statistical approach?         

A. A readmission study consisting of all patient encounters within a two‐year period 

B. A patient satisfaction study consisting of randomly selected samples from each nursing unit of a 

hospital within a two‐year period 

C. A longitudinal study of pain consisting of pain intensity scores of all inpatient encounter within a one‐

year period 

D. A survival analysis of all patients with Chronic Heart Failure within a five‐year period         

 

S11‐2: Which of the following statements is accurate?   

A. Variables that are statistically significant in univariate statistical models are guaranteed to retain their 

statistical significance in a corresponding multivariate model consisting of additional variables 

B. Variables that are statistically significant in univariate statistical models may lose statistical 

significance in a multivariate model consisting of additional variables 

C. A model with a large number of variables is always desirable 

D. If a variable is statistically significant in a multivariate logistic model in which all known potentially 

confounding variables have been controlled for, the variable may be said to be a cause of the event 

under consideration   

 

28 | P a g e  

 

Predicting Change in Glycemic Control among Previously Controlled Type 2 

Diabetes Patients: A Machine Learning Approach ‐ Che Ngufor  

 

S11‐3: The investigation of change over time is key to empirical research in many disciplines. Is systolic 

blood pressure related to the development of coronary heart disease? What factors are associated with 

the risk of progression of type 2 diabetes?  How do different groups of students in my state compare to 

each other in terms of academic achievement over the course of college? Does my data exhibit distinct 

trajectory patterns? These research questions are best answered through the collection and analysis of 

what type of data?   

a) Cross‐sectional data 

b) Longitudinal data 

c) Time series data 

d) Observational data   

 

 

S11‐4: Most classification methods assume that the training data are drawn independently and 

identically from an unknown distribution (i.i.d), although this assumption is violated in in many real life 

situations. The implicit assumption by the machine learning and data mining communities is that even if 

the i.i.d assumption is violated, the algorithms would work well in practice. When would this not be the 

case?   

a) When we have cross‐sectional data with weak or no correlations between observations. 

b) When the observations in the data are systematically correlated. 

c) Small sample size data. 

d) Large sample size data.      

 

   

 

29 | P a g e  

 

Friday, May 6, 9:45 AM– 10:45 AM 

 

S13: Panel ‐ The CCIO Task Force: An Interactive Panel on Knowledge, Education, 

and Skillset Requirements for the 21st Century ‐ Joseph Kannry, Thomas Payne, John 

Poikonen, Thankam Thyvalikakath, and Roy Simpson 

 

S13‐1: The CIO of RBH (Really Big Hospital) calls you into her office. She tells you the hospital is going to 

select a new EHR (Electronic. Health Record), implement it, and then optimize it. All to be done within 

the span of 24 months. She wants to hire a Chief Medical Informatics officer (CMIO). You advise her that 

the best candidate is:   

a. Physician with extensive EHR experience but very little Informatics education 

b. Physician with extensive Informatics education but limited EHR experience 

c. Physicians only but absolutely no PhDs, Masters 

d. Clinical Informatician educated in and experienced with Informatics   

 

 

S13‐2: The Chief Nursing Officer of RBH wants to hire a Chief Nursing Informatics Officer (CNIO). She 

wants this person to be highly qualified. The CNIO must have:   

a. Completed a nursing informatics fellowship 

b. Passed a nursing informatics certification exam 

c. Possess an advanced degree in nursing Informatics  

d. Current in all nursing practice requirements   

 

S13‐3: RBH has physician, nursing, pharmacy, and dental CCIOs (Chief Clinical Informatics Officers). The 

leadership of RBH wants to create an Office Of Clinical Informatics because:   

a. Space will be saved having these four share an office 

b. Communication will be improved by proximity and frequent interaction 

c. Four people are essentially doing the same job 

d. These professionals have knowledge, education, training and skillsets in common   

 

 

 

30 | P a g e  

 

S14: Presentations ‐ Mobile Technology 

Evaluation of Mobile Continuous Vital Sign Surveillance on Clinical Workflow ‐ Rosemary Kennedy, Ida Androwich 

S14‐1: In accordance with public policy and private groups, the use of health information technology is 

tightly related to improving patient safety and quality. The growth of mobile health information 

technology, in particular, shows promise for streamlining clinical workflow.  Despite these promises, 

there are concerns and a lack of research demonstrating the impact of health information technology 

(HIT) on clinical workflow. Concurrently, the existing research is difficult to interpret as there are over 

one hundred definitions of workflow.  The definition of workflow used in HIT research and 

implementation is important as it guides the investigator in selecting the appropriate measurement 

tool. 

You are chartered to conduct a constructive analysis of workflow to inform the design and 

implementation of a body‐worn mobile device for continuous vital sign capture in general care wards. 

The focus is on “efficiency” in vital sign data capture as measured by time savings. What are the most 

appropriate steps to define workflow?   

A. Define workflow focused on the nature and impact of interruptions as this time impacts task time 

B. Define workflow using a definition focused on how much time tasks consume 

C. Define workflow focused on the information needs and cognitive processes of workers 

D. Define workflow focused on the dimension of time, the relationship among routine tasks, and 

interactions among workers   

 

 

The Need for a Mobile Medical Photography Standard – Oliver Aalami 

S14‐2: A resident is in the emergency room and is seeing a post‐operative patient for pain and swelling 

at the operative site. The wound has erythema and there is drainage from the incision. She is uncertain 

if the patient should be admitted or simply be given oral antibiotics and sent home. She chooses to send 

a photo to her attending from her personal cell phone using her iPhone’s native messaging app. This is a 

very efficient way to communicate.  What are some steps that would be required to make photo sharing 

HIPAA compliant in this scenario?   

A.  Photo should be encrypted at rest, in flight (during transmission) and the resident needs permission 

from the patient to take the photo.  

 

B. There are no HIPAA compliant solutions available for the resident to use her personal phone. 

 

C. The resident needs to have a Business Associate Agreement (BAA) in place with the patient. 

 

D. The resident should use the patient’s phone to take the photo and send to her attending.   

 

31 | P a g e  

 

Introducing iPET: Interactive Patient Engagement Technologies – Perry Gee, Frances Patmon, Tina Rylee 

S14‐3: A large community hospital is implementing a new technology system designed to improve 

patient engagement.  Research has shown patients who are engaged in their care are more likely to 

have better patient outcomes and reduced health care costs.  It has also been suggested that user 

acceptance is a significant barrier to full system adoption.  This new system will be piloted on the 

telemetry unit where the majority of patients have been newly diagnosed with congestive heart failure.  

Training has been scheduled for all nursing staff.  To fully utilize the benefits of the new patient 

technology system, which of the following is the most appropriate?   

A. The training plan should be reviewed for common troubleshooting tips 

B. The training schedule should be distributed amongst the nursing staff 

C. Contact numbers for staff super users and vendor trainers should be collected 

D. The training plan should be reviewed for adequate training time and clinical nursing practice 

applicability   

 

Friday, May 6, 11:15 AM–12:15 PM 

 

S15: Presentation – Data and Network Security – JoEllen Frain 

S15‐1: Cybercriminals are looking for commodities that can be quickly sold to the highest bidder.  In 

2015, what type of commodity were cyber thieves targeting for theft and receiving the highest payout 

for? 

A. Credit Cards 

B. Bank Account information 

C. Social Media profiles 

D. Health care records 

 

S15‐2: From a young age we are conditioned for the threat of physical crime, we are now faced with a 

whole new type of criminal activity and it happens through technology.  

The first step in Security Awareness is being able to ________ a security threat. 

A. Avoid 

B. Recognize 

C. Challenge 

D. Log 

 

32 | P a g e  

 

 

S15‐3: What is the biggest vulnerability to computer information security? 

A. Instant Messaging, Peer‐to‐Peer (P2P) applications 

B. Malware ‐ virus, worms, spyware 

C. Spam, Phishing attacks 

D. End Users 

 

S16: Presentations ‐ Population Health 

Information Visualization for Population Health Management via Cognitively‐

Guided Disease Risk Assessment ‐ Rema Padman  

S16‐1: Assessing and responding to many patients’ risks of chronic diseases and related complications 

are complex, high‐dimensional information processing problems faced by time‐constrained clinicians. 

Innovative algorithms and tools which combine statistical machine learning, information visualization 

and electronic health data may reduce clinicians’ information processing load and improve their ability 

to assess risk of disease onset and related complications. A critical element in visualization is the 

incorporation of flexibility in customizing assessments to the needs of unique patient populations. 

Suggested by this study, which insight can be obtained via a 2‐dimensional visualization of chronic 

disease risk that is contextualized by the risk factors?   

a. Confidence intervals for population‐level risk stratification 

b. Drivers of risk for the population and individual patients 

c. Best interventions for an individual patient 

d. Patient clusters that may benefit from an intervention   

 

Use of a Local Learning Healthcare System to Improve the Health of Patient and 

Community ‐ Amy Sitapati, Barbara Berkovich 

S16‐2: The IOM Charter and Vision Statement for the Learning Healthcare system states, “that, by the 

year 2020, ninety percent of clinical decisions will be supported by accurate, timely, and up‐to‐date 

clinical information, and will reflect the best available evidence.” What types of health IT were deployed 

at the local level that supported the HIV quality outcomes predictive of a public health impact? 

 A. Sustainable Timely Operational Registry in the EHR (STORE)  

 B.  Bulk ordering and messaging 

 C.  Risk scoring 

 D. All of the above   

 

33 | P a g e  

 

Development of a Health Registry Ontology ‐ Barbara Berkovich, Amy Sitapati 

S16‐3: Drolet (2008) states that the use of a single term, “registry,” to refer to databases of clinical 

information ranging from biomedical informatics, clinical research, public health, to evidence‐based 

practice impedes the ability to locate  and learn from the literature about specific types of registries. 

In what way would an ontology help to remedy this problem?   

A. An ontology would define once and for all what a registry is and is not. 

B. An ontology would help researchers identify registries of observational data. 

C. An ontology provides a specification written in a formal language that defines a shared 

conceptualization and vocabulary. 

D. An ontology would define a method for assessing data quality in a registry.   

 

Friday, May 6, 1:45 PM–2:45 PM 

S17: Panel ‐ Approaches to Combating the Patient Portal Sprawl ‐ Santosh Mohan, 

Timothy Burdick, Travis Bond, Michelle McGuire 

S17‐1: Mr. Grant is an 82‐year old retired mechanic. He sees you, his PCP, at a community health center. 

A year ago, you started managing his care via a portal, and you both agree that it has been helpful. He 

also has separate portals with: ophthalmology at a specialty eye center; cardiology and orthopedics at a 

multispecialty group; and walk‐in clinic in his neighborhood. Recently, his healthcare insurance company 

and his pharmacy each gave him online access, too. Today, Mr. Grant is in your office after being 

admitted to a community hospital while traveling out of state. He knows that he had some medication 

changes. At discharge, they gave him a new portal. When he logged in for the first time, he noted that 

much of the information on the portal was wrong or missing. He has decided to close every portal, 

stating “If I close them all, then at least the records won’t be wrong.” After listening to his concerns, the 

best advice for him is which?   

A. He should shut down all his portals. Older adults with multiple medical conditions are not good 

candidates for using patient portals. 

B. He should keep all the portals open. Unused portals do not represent any risk. He should routinely 

contact all his providers individually to update the information. 

C. He should close infrequently‐used portals, such as the one with the out of state hospital. He should 

keep the portal with you, his PCP; your staff will work with him to make it as complete and accurate as 

possible. His multispecialty group portal is optional. 

D. He should sign up with a centralized portal company that will aggregate the data from all other 

portals. The central portal will always be reliable, complete, and accurate.   

 

 

 

34 | P a g e  

 

S17‐2: Morgan is a patient who has 9 different providers who each have their own portal login. She is 

being referred to a specialist and wants to be involved in her care coordination. She does not want to 

rely on her memory, fill out a lot of forms, or find out that the new doctor doesn’t have any of her 

recent x‐rays, MRIs or primary doctor’s records. She has seen three other doctors for issues that are 

related to her upcoming visit. She cannot imagine logging into so many portals to try to figure out how 

to share that information with her new doctor. She does not want to have tests repeated or have her 

treatment delayed due to coordination issues. What is the best advice for her to prepare for the visit? 

A. Personally get copies of all important documents from her various providers/portals and bring all of 

them with her to the visit. 

B. Download data from her Fitbit and Apple Health account and bring the Excel files with her to the visit 

C. Use a single, consolidated report that explains relevant history, current health information, the x‐rays 

and MRI ahead of the visit through a personal health record app and/or care coordination service. 

D. Tell her new physician the name and contact information for the three other doctors 

E. Do the best she can to memorize and share the information with the doctor   

 

S17‐3: Grace is a 56‐year old cancer patient. She receives care from four different specialists, local 

hospital, cancer center, and you, her PCP and an eligible professional by meaningful use standards. 

Grace frequently accesses her records, results, and medications through a patient portal that is offered 

through a local HIE. All of Grace’s caregivers happen to be participants in this HIE and use this HIE’s 

portal to make information available to their patients. The HIE itself has been certified as an EHR 

Module for this purpose and has the ability to identify and verify the information that a particular 

provider may have contributed. In situations such as this, where multiple eligible professionals or 

eligible hospitals contribute information to a shared portal, how is it counted toward the meaningful use 

measure of View, Download, or Transmit when the patient accesses the information on the portal? 

A. None of the caregivers can take credit whether or not Grace views online, downloads, or transmits to 

a third party any of her health information from the shared portal 

B. All caregivers may count Grace in the numerator for this measure, even if one or more of them have 

not contributed any of the information to the portal 

C. All caregivers may count Grace in the numerator for this measure as long as they all have contributed 

at least some of the information to the shared portal, but not necessarily the particular information that 

was viewed, downloaded, or transmitted by Grace 

D. A caregiver may count Grace in the numerator if and only if Grace has specifically viewed, 

downloaded, or transmitted the particular information that the caregiver has contributed to the shared 

portal   

 

 

 

35 | P a g e  

 

 

S18: Presentations ‐ Clinical Decision Support 

Incorporating Medication Indication into CPOE: What Do We Need to Build? – Gordon Schiff 

S18‐1: Physicians have long been urged to place the indication for the medication on the prescription for 

drugs they are ordering.  With paper prescriptions, physician acceptance has been poor, but with near 

universal adoption of electronic ordering (CPOE) there are renewed opportunities to promote utilization 

of this feature. However, there remain numerous challenges in designing and incorporating indications 

into prescribers’ workflow.     

 

Which of the following is not a prerequisite for developing a system to incorporate indications into the 

prescribing process?   

A. Needs to be flexible and not require extra time 

B. Needs to accommodate off‐label prescribing 

C. Requires prescribers to choose a drug first and then add the indication from a pull down list of 

indications  

D. Provides “smart” drug suggestions based on medication and patient characteristics 

E. Makes it easy to put indication on the label for patients, as well as suppress if sensitive conditions  

 

Dynamic Predictive Analytics to Prevent Chemotherapy‐Induced Nausea and 

Vomiting – Abu Mosa 

S18‐2: Chemotherapy‐induced nausea and vomiting (CINV) is one of the most dreadful and unpleasant side‐effects of chemotherapy. Antiemetic treatments are provided before chemotherapy to prevent CINV. There are several antiemetic guidelines for the management of CINV. However, they are solely based on the emetogenicity of the chemotherapies. Several patient‐related risk factors affect the risk of CINV but none of the guidelines considers those factors. As a result, physicians rely on their personal experiences for CINV treatment, which leads to inconsistent managements of CINV. As a clinical informatician of your hospital, you have been given the task to help the physicians with personalizing the CINV treatment recommendations based on patient‐specific risk factors. Which of the following is the most appropriate informatics solution?   

 A. Identify the list of patient‐specific risk factors by data analysis and provide the list to physicians 

B. Tell physicians to consider the patient's specific risk factors  

C. Develop a prediction model that determines the combined effect of multiple patient‐specific factors for predicting the risk, and integrate the model with the clinical decision support system 

D. Tell physicians to consult with their experienced colleagues about their experiences on managing CINV   

 

36 | P a g e  

 

 

Efficacy of Clinical Alerts Designed to Reduce Inappropriate Urinary Cultures in 

Catheterized Patients in the ICU – Mark Parkulo 

 

S18‐3: A recent study demonstrated a reduction in inappropriate urinary cultures in ICU patients with 

indwelling urinary catheters through the use of clinical decision support.  The study integrated several 

clinical decision support techniques into the process.  Which technique was not utilized in this study? 

A.  A real‐time decision support alert window at the time of ordering 

B.  A real‐time e‐mail message to quality oversight if the order is overridden 

C.  A phone number imbedded in the alert that the provider must call to override the alert  

D.  Educational information and a reference imbedded in the alert 

E.  Ability to cancel the order from the alert window   

 

 

 

   

 

37 | P a g e  

 

Multiple Choice Questions, Answers, Explanations, and References 

 

Wednesday, May 4, 2016, 1:00 PM – 3:00 PM 

WS01: Workshop ‐ Innovative Informatics and Analytics in Medicine 

Dingcheng Li, Liwei Wang, Hongfang Liu, et al 

WS01‐1: 

What are some of the challenges of investigating drug interaction signals using large medical record 

databases?   

(a) Defining the longitudinal relationship between drug exposure and adverse drug events in both cases 

and controls. 

(b) Controlling the confounding variables for the drug interaction signals. 

(c) Estimating the false discovery rate of drug interaction signals. 

(d) Defining the proper adverse drug events. 

(e) All of the above.   

Answer: (e) All of the above. 

 

WS01‐2: 

The increasing volume, detail, and availability of digital health data offers an unprecedented opportunity 

to learn richer, data‐driven descriptions of health and illness. This principle has driven the rapid 

development of computational phenotyping, i.e., discovering meaningful data‐driven characteristics and 

patterns of diseases from increasingly large and complex medical data sets. Deep learning models, such 

as deep neural networks, are an emerging solution for many computational phenotyping problems. 

Which of the following is true in general for deep neural networks?   

(a) Features learned by Deep Neural Networks are easily interpretable 

(b) Deep Neural Networks can learn representations of data 

(c) Deep Neural Networks can only learn linear relationship across features 

(d) Deep Neural Networks are only supervised algorithms   

Answer: (b) Deep Neural Networks can learn representations of data    

Rationale: Deep neural networks (DNN) are characterized as a class of machine learning algorithms that 

are used for learning representations of data.  Deep learning algorithms may be supervised or 

unsupervised and applications include pattern analysis (unsupervised) and classification (supervised). 

Features learned by DNN are usually not easily interpretable since they model the non‐linear 

relationships of input features. 

 

 

38 | P a g e  

 

WS01‐3: 

Screening for early signs of dementia in the absence of an effective treatment is advantageous because 

early diagnosis of dementia can:   

A. give the patient and family extra time 

B. improve quality of life of a patient by reducing isolation from social and family activities 

C. reduce the healthcare costs associated with dementia diagnosis in emergency settings 

D. All of the above    

Answer: D. All of the above  

 

WS01‐4: 

Even with increasing emphasis on capturing clinical information in standard and structured format to 

enable down streaming meaningful use of EMR applications, what is the primary reason that we still 

have much of the clinical information in clinical narratives in EMR?    

A.   Not all EMR systems support structured data entry. 

B.    Clinical narrative is human friendly while the primary function of EMR is to facilitate the care 

communication among the care team. 

C.    It is not possible to capture clinical information in standard and structured format.   

Answer: B.    Clinical narrative is human friendly while the primary function of EMR is to facilitate the 

care communication among the care team. 

Rationale: All of the above are reasons behind the prevalent use of clinical narratives. The primary 

reason is B. No matter what, the primary function of the EMR is to facilitate communication among the 

care team and clinical narrative is human‐friendly. 

 

WS01‐5: 

Clinical narratives can be structured and codified by a state‐of‐the‐art NLP system with results stored for 

down streaming applications. Why do we need real‐time late‐binding NLP solutions in practice?   

A.    Late‐binding NLP solutions are needed since different down streaming applications have different 

performance requirements. 

B.    For delivery NLP in practice, the latest clinical information in EMR is needed for clinical decision 

making. 

C.   The advance in big data technology has made it possible to deliver real‐time late‐binding NLP 

solutions. 

D. All of the above   

Answer: D. All of the above   

Rationale: Any NLP system, out‐of‐the‐box, can not yield satisfactory results. We need real time late‐

binding NLP solutions to deliver NLP in practice. 

 

39 | P a g e  

 

WS01‐6: 

What is the biggest concern when we do healthcare knowledge extractions from social media? 

(a) The credibility of healthcare knowledge extracted from social media is not high. 

(b) Patients may not like to reveal their personal health information to others. 

(c) The noise in the social media is so high that the processing is challenging.  

(d) The server may be unstable so that information on line may be gone.  

Answer: (a) The credibility of healthcare knowledge extracted from social media is not high. 

 

 

WS02: Workshop ‐ Agile Clinical Decision Support 

‐ DuWayne Willett and Vaishnavi Kannan  

 

WS02‐1: 

To promote more consistent care of patients undergoing colorectal surgery, you've been asked to lead a project to develop new pre‐op and post‐op note templates and order set(s) in your EHR specifically for these patients.  The targeted go‐live date is in 3 months.  Several surgeons are important stakeholders, and although they've all agreed to the idea of using the same set of EHR tools to help standardize care and collect better data, no unanimity exists yet about note or order set content.  On previous projects you've taken a traditional method of getting up‐front "sign‐off" on all exact requirements before beginning work.   For this project, you decide instead to use an iterative, incremental development approach, with time‐boxed development "sprints"; you plan to demonstrate the latest version of EHR tools to a surgeon's meeting every 2 weeks for feedback.     Which of the following best explains why use of this agile development approach is more likely to be successful here than traditional project management?   

A. Your team has experience building note templates and order sets. B. The deadline is short, only 12 weeks away. C. Requirements are likely to be discovered and undergo change during order set and note template development. D. The number of stakeholders is too high.   

 Answer C. Requirements are likely to be discovered and undergo change during order set and note template development.    

 

40 | P a g e  

 

Explanation: Project characteristics that favor agile development methodologies over traditional plan‐based methods include a high likelihood of changing/evolving requirements, developing a new product (versus work that's repetitive), and when the work‐product is relatively easy to make adaptive changes to (software versus a building).  Here, there is no pre‐existing agreed‐on note or order set content.  The exact contents of the note templates and order sets are highly likely to change as the stakeholder changes see and respond to the initial versions produced.  Thus presenting working versions early with time to adapt is more likely to produce acceptable product within the 3‐ month time frame than delivering product "to spec" that they see for the first time near the end of the 3 months.  On the other hand, if the product is something well‐known and has been built successfully before, a traditional up‐front detailed project plan would be more appropriate, regardless of duration of project or number of stakeholders.  The experience of the team is not an overriding factor, although inexperience with development tools and techniques would favor use of an agile methodology.     

WS02‐2: 

On rapid‐cycle agile development projects, requirements are often kept lightweight, for example, with a User Story and associated Acceptance Criteria.  The most typical template for a User Story is: "As an X , I want  Y, so that Z ".  When using this template to write a User story for a clinical decision support (CDS) tool which will be displayed to clinicians in an EHR, the best entry for the  placeholder is: A.  The executive sponsor of the project B.  The clinician who will see and use the CDS tool C.  The EHR analyst building the CDS tool D.  The patient who will ultimately benefit from best practices promoted by use of CDS  Answer: B.  The clinician who will see and use the CDS tool    Explanation:  User stories are written in the voice of the person who will actually be using the product.  The executive sponsor for a CDS tool may have an institutional goal in mind, but is unlikely to be a representative CDS user: any requirements or constraints from the sponsor can go in the Acceptance Criteria. Using the voice of the developer/analyst is not the point of a User Story, and is incorrect. The benefit to the patient would better be in the placeholder.  A helpful adage for more successful CDS tools is "do CDS with your users, not to them." Writing CDS user stories in the voice of the clinician who will use them reinforces exploring what benefit valued by the clinician is being sought (such as improved efficiency, and/or an improvement in their patient's outcome).  

WS02‐3: 

You are embarking on a redesign of your hospital's venous thromboembolism (VTE) prevention order set.  The new version will dynamically tailor the prophylaxis options to be presented to the clinician based on the patient's VTE risk category, using an accepted risk scoring system.  You have the following User Story: "As a clinician, I want to be provided guidance on the most appropriate VTE prophylaxis measures to order for a given patient, so that I can institute the recommended DVT prophylaxis interventions, and 

 

41 | P a g e  

 

ultimately reduce my patients’ chances of suffering a DVT and/or pulmonary embolus." You want to measure effectiveness of the redesigned order set as part of your CDS Benefits Realization program, by selecting one or more metrics to measure before and after implementation.  Given this User Story, which one of the following potential measures is most appropriate to select?    A. Percent of inpatients on risk‐appropriate VTE prophylaxis B. VTE order set usage as a percent of total order set usage C. Frequency distribution of order selection within the VTE order set D. Ratio of VTE prophylaxis orders placed via the order set versus placed outside the order set    Answer: A. Percent of inpatients on risk‐appropriate VTE prophylaxis    Explanation: The User Story provides two reasons for embarking on this project: (1) to institute the recommended DVT prophylaxis recommendations, and (2) to reduce incidence of DVT/PE.  Either (or both) could be chosen to measure for a Benefits Realization program, but only the first is provided as an available answer, by measuring the percent of inpatients on risk‐appropriate VTE prophylaxis before and after implementation of the Order Set redesign. The other options provide information about how the order set is being used, and may be useful for analysis and order set optimization, but do not provide information on achievement of the desired benefits.  

WS02‐4: 

Epidural catheters for pain control are frequently placed by anesthesiologists for patients primarily managed by other services. Administering anticoagulants to patients with an epidural catheter may be associated with increased risk of epidural hematoma and neurologic damage. You've been asked to create an alert for anyone ordering an anticoagulant or antiplatelet medication for a patient with an epidural catheter, to alert them of this risk. As you listen to the experts discuss when the alert should fire, you learn that exception conditions apply, e.g., for low‐dose VTE prophylaxis. You want to capture the logic to define unequivocally for which sets of conditions the alert should and should not appear.  The optimal model for depicting this logic is a:   A. Swimlane Workflow Diagram B. User Interface (UI) Storyboard C. Use Case Diagram D. Object Diagram E. Decision Tree    Answer: E. Decision Tree    Explanation: Decision trees (or alternatively, decision tables) depict clearly the logic  by which any rule should determine a specified output given any set of inputs.  This is the most appropriate diagram to depict the sets of conditions under which a CDS alert should or should not display to a single clinician. The remaining model types all have different uses.  Swimlane workflow diagrams display the flow of work among multiple roles, and graphically depict the sequence of work and handoffs involved. UI Storyboards are a mockup of what a user will see on screen, and are useful accompaniments to use case step‐by‐step descriptions. Use Case Diagrams depict the variety of Actors that interact with a system, 

 

42 | P a g e  

 

and the specific Use Cases each can be involved with, without any sequencing implied. An Object Diagram is a structural model, not a process model, showing the objects that make up a system, and how they are related.  

WS02‐5: 

An automated acceptance test is written before development of a clinical decision support alert, specifying the decision logic it should employ when evaluating whether to display to clinicians. The automated test is red (fails) initially, and then becomes green (passes) once the EHR analyst has successfully finished their development. Which best describes this use of automated testing?    A. Regression testing B. Test‐driven development C. Exploratory testing D. Unit testing    Answer: B. Test‐driven development    Explanation: In Test‐driven development (TDD), an automated test is written before development begins, to unequivocally specify a requirement to be fulfilled (in this case the alert's decision logic).  The test is designed to fail prior to development, and only pass once successful development has been accomplished. Regression tests on the other hand are meant to always be green (pass): failure of a regression test implies that software previously working successfully is no longer doing so. Exploratory (or ad hoc) testing refers to unscripted testing of a system under development, commonly by end users.  Unit testing refers to testing of a single, smallest testable part of an application's code; unit testing can be employed in testing either after development has occurred, or up front in test‐driven development.  

WS02‐6: 

Your liver specialists want to increase the rate at which patients with cirrhosis are screened for hepatocellular carcinoma, in line with published guidelines.  Accordingly, a clinical decision support alert has been reminding providers to order a liver imaging test if one has not been performed within the recommended screening interval.  The alert checks for presence of cirrhosis on the Problem List, and for a completed order in your EMR for any of a list of imaging procedures.  Your CDS monitoring program recently detected a sharp rise in the frequency at which this alert is displaying to providers.  What is the most likely cause for the abrupt increase in frequency of alert display?    

A. The national society guidelines were recently updated to eliminate the screening recommendations, and the physicians' practice reflects the new guidelines. 

B. Your local physicians have collectively decided that the screening practice is low‐yield and not cost‐effective, and have abandoned it. 

C. A recent operating system software security patch on your workstations has caused the CDS alert to display inappropriately D. Radiology has begun using a new orderable in your EMR which is not contained in the "Liver imaging" procedure list used by the CDS alert, causing it to display inappropriately.   

 

43 | P a g e  

 

 Answer: D. Radiology has begun using a new orderable in your EMR which is not contained in the "Liver imaging" procedure list used by the CDS alert, causing it to display inappropriately.    Explanation: Clinical decision support monitoring systems can detect anomalies prior to being reported by clinicians.  An abrupt increase or decrease in the rate a given CDS alert displays to clinical users most likely results from a change affecting the logic of the alert: possibilities include a change to the EHR software, the configuration of the CDS tool, or in the discrete data being evaluated by the logic of the CDS tool.  In this case, the alert checks for an imaging procedure order from a specified list (or "grouper").  Use of a new imaging procedure orderable without also updating the CDS alert's list would immediately result in the alert displaying inappropriately, and is the most likely cause among the listed reasons.  A change in the Windows or other operating system software would be much less likely to affect the logic of this particular CDS alert in isolation.  Changes in clinical practice that follow or precede changes in clinical guidelines typically manifest gradually, not abruptly.   References: Larman C. Agile and Iterative Development: a Manager's Guide. Addison Wesley; 2004.  Cohn M. User stories applied: for agile software development. Boston: Addison‐Wesley; 2004.  Osheroff J, Teich J, Levick D, Saldana L, et al. Improving Outcomes with Clinical Decision Support: An Implementer's Guide . Taylor & Francis; 2012.  Wright A, Hickman T‐TT, Mcevoy D, Aaron S, Ai A, Andersen JM, et al. Analysis of clinical decision support system malfunctions: a case series and survey. Journal of the American Medical Informatics Association J Am Med Inform Assoc. 2016  

WS03: Workshop ‐ Data Science, Big Data and Nursing’s Contribution to 

Knowledge Value 

Connie White Delaney, Bonnie Westra, Thomas Clancy, Karen Monsen 

WS03‐1: 

Which of the following is true about the fundamental shift to the 4th paradigm or big data research?   A. Having more data means increased sampling error  B. Pattern discovery and hypothesis generation are primary goals C. Big data requires a theory‐based analysis D. It is relatively simple to show causation because of the sheer magnitude of the data    Answer: B. Pattern discovery and hypothesis generation are primary goals    Explanation: 

 

44 | P a g e  

 

While it is true that pattern discovery and hypothesis generation are primary goals of eScience or big data research (B), all other responses are not true: having more data means decreased sampling error (A); big data does not require theory‐based analysis (although theory‐based analysis is certainly possible) (C); and it is not simple to show causation using observational data due to inability to impose controls (D).     

WS03‐2: 

Meaningful Use Stage 2 Rule requires use of SNOMED CT for which purpose? A. Clinical knowledge representation B. Transport of data between systems C. Process interoperability D. Translation from research to practice    Answer: A. Clinical knowledge representation    Explanation: SNOMED CT is the clinical terminology named for problem lists in Meaningful Use Stage 2 Rule. (see page 23 from: Reference: United States Department of Health and Human Services (2014). Federal Register / Vol. 79, No. 176 / Thursday, September 11, 2014 / Rules and Regulations.)  

WS03‐3: 

You are the chief nursing information officer (CNIO) of an integrated system of seven hospitals all of which store their electronic health record data in a system wide centralized data repository (CDR).    The CDR (approximately 10 million patient records covering a span of 8 years) is comprised of structured data from discrete fields such as demographics, flow sheets, vital signs, provider orders, and test results.   Narrative nursing notes are present, but in unstructured text format and not coded using a standardized nursing language.   As the CNIO you are interested in developing a model that predicts patients at high risk for developing pressure ulcers and alerts providers through the EHR.  However, the pressure ulcer data is stored in a mix of structured flowsheets and unstructured text in notes.  And the health system does not have data scientists with the skills to build such models.  As the CNIO which of the following is the most appropriate first course of action to take?    A. Build consensus and create a pressure ulcer information model B. Recruit and hire a data scientist who can build predictive models C. Purchase additional hardware and software to allow processing of big data D. Identify all patients with a ICD9/10 diagnosis code of pressure ulcer and preprocess the data    Answer: A. Build consensus and create a pressure ulcer information model    Explanation:  Creating a pressure ulcer information model organizes data into an ontological framework and allows mapping of existing data to concepts in the ontology. By mapping key terms associated with pressure ulcers into an information model, a search of the 10 million lives in the database will better identify 

 

45 | P a g e  

 

those pressure ulcer patients not coded using ICD9/10 diagnosis codes (which will likely be many).  This will allow you to know the population size and features to draw upon for your analysis.  Steps B and C can then follow as needed.  

WS03‐4: 

You are a researcher in an academic health center and want to investigate how well family nurse practitioners comply with evidence based guidelines for outpatient care of type II adult onset diabetes on a national level. Of the following databases available to you, which database is the best to conduct your analysis?   

A. Medicare Claims Database (Medicare inpatient hospital insurance claims on patients over 65 years of age) B. AHRQ HCUP Database (Cost and quality data from 7 million hospitals) C. CDC National Center of Health Statistics: Vital Statistics (US annual births and deaths only) D. Optum Labs Data Warehouse (commercial health insurance claims linked to inpatient and outpatient EHR data – all ages) E. A clinical data repository from your university medical center (2 million lives of hospital inpatient EHR data)   

Answer: D. Optum Labs Data Warehouse (commercial health insurance claims linked to inpatient and outpatient EHR data – all ages)   

Explanation: 

The research focuses on compliance of outpatient evidence based guidelines for type II adult onset diabetes.  So it is important to find a database that provides data on outpatients.  The Optum Labs Data Warehouse (Answer #4) contains all age groups, outpatients, EHR data & claims data.  Answer A is just inpatient hospital claims data and patients over 65. Answer B is just hospital data, Answer C is just births and deaths. Answer E is just hospital inpatient data. 

 

WS03‐5: 

The value of constructing information models from flowsheet data for research is to…  A. Map similar data to concepts for research B. Standardize all notes into structured documentation C. Assure all clinicians document in the same manner. D. Inform vendors how they should implement EHRs    Answer: A. Map similar data to concepts for research    Explanation: An information model organizes data into an ontological framework and allows mapping of existing data to concepts in the ontology.  It is not intended to convert notes into structured documentation.  

 

46 | P a g e  

 

WS03‐6: 

Which of the following are examples of research that can be facilitated by inclusion of nursing flowsheet data?    A. Number of medications received within 24 hours B. Lab test results for diabetes C. Pain management for patients D. Comorbid conditions    Answer: C. Pain management for patients    Explanation: Medication data is captured in other types of documents rather than nursing flowsheets.  

References:  Hey, T., Tansley, S., & Tolle, K. (2009). James Hey on eScience. In The Fourth Paradigm. Microsoft Science. Available at: http://research.microsoft.com/en‐us/collaboration/fourthparadigm/4th_paradigm_book_complete_lr.pdf  Mayer‐Schönberger, V., & Cukier, K. Big Data ‐ A revolution that will transform how we live, work and think. London: John Murray Publishers; 2013.  Reference: United States Department of Health and Human Services (2014). Federal Register / Vol. 79, No. 176 / Thursday, September 11, 2014 / Rules and Regulations.  Doolan, D. M., & Froelicher, E. S. Using an existing data set to answer new research questions: A methodological review. Research and Theory for Nursing Practice: An International Journal. 2005; (23): 203‐215.  Lee, MK and Park, HA.  Development of data models for nursing assessment of cancer survivors using concept analysis. Healthc Inform Res. 2011 Mar; 17(1):38–50.  Brennan PF, Bakken S. Nursing needs big data and big data needs nursing. J Nurs Scholarsh. 2015;47(5):477‐484. doi: 10.1111/jnu.12159.  Boyle DK, Cramer E, Potter C, Gatua MW, Stobinski JX. The relationship between direct‐care RN specialty certification and surgical patient outcomes. AORN J. 2014;100(5):511‐528 18p. doi: 10.1016/j.aorn.2014.04.018.  Lee J, Kim Y, Jung H, Song M. Development of pain flowsheet based on electronic nursing record system. Studies In Health Technology & Informatics [serial online]. November 2012;180:1065‐1069 5p.  Harris M, Langford L, Miller H, Hook M, Dykes P, Matney S. Harmonizing and extending standards from a domain‐specific and bottom‐up approach: an example from development through use in clinical applications. Journal Of The American Medical Informatics Association [serial online]. May 2015;22(3):545‐552 8p. 

 

47 | P a g e  

 

Wednesday, May 4, 2016, 3:30 PM – 5:30 PM  

WS04: Workshop ‐ FHIR: A Workshop for Implementers 

Charles Jaffe, Alistair Erskine, Viet Nguyen, Russ Leftwich, and Stan Huff 

 

WS04‐1: 

What technical standards were included in FHIR 2.0 to enable security and authentication?    A. Existing ISO standards B. HL7 developed security standards C. Proprietary standards    Answer: A. Existing ISO standards     Explanation: The FHIR 2.0 stack includes OpenID and OAuth2, used on the Internet for secure transactions.    Reference: Health Level Seven International, http://www.hl7.org/   

WS04‐2: 

What are the requirements for use of FHIR in open‐source or commercial products?    A. FHIR is provided through a creative commons license. B. HL7 membership C. A license fee based upon utilization.    Answer: A. FHIR is provided through a creative commons license    Explanation:   Like all HL7 intellectual property, FHIR is licensed free of charge.  

WS04‐3: 

What individuals may contribute to FHIR development?    A. HL7 members. B. Argonaut Project members. C. FHIR development is open to anyone who registers    Answer: C. FHIR development is open to anyone who registers    Explanation:  Anyone can contribute to FHIR development. Only HL7 members may vote on FHIR ballots. 

 

48 | P a g e  

 

 

WS04‐4: 

ONC is offering three major funding opportunities for FHIR developers, including the creation of FHIR‐based solutions and an open FHIR Registry. Who is eligible for these grants?  A. HL7 members. B. Argonaut participants. C. Anyone.    Answer: C. Anyone.    Explanation: Anyone is eligible to submit their products to the ONC challenge grant program.   

WS04‐5: 

What is the principle objective of the FHIR Foundation?    A. Accelerate development of FHIR resources and profiles. B. Provide a collaborative environment for FHIR implementation. C. Enable a funding source for subject matter experts.    Answer: B. Provide a collaborative environment for FHIR implementation.    Explanation:  FHIR.org, the home of the FHIR Foundation, provides opportunities for FHIR implementers to collaborate, review best practices, share technology and solutions, and test conformance.  

WS04‐6: 

What are the training opportunities for FHIR implementers?    A. FHIR‐based application development is taught as a component of undergraduate and graduate school courses at many colleges and universities. B. The FHIR Institute offers hands‐on workshops for both HL7 members and non‐menbers. C. FHIR Tutorials are provided at every HL7 work group meeting. D. All of the above.    Answer: D. All of the above.     

   

 

49 | P a g e  

 

WS05: Workshop ‐ Bundled Payment Initiatives: Harnessing Data to Realize the 

Triple Aim 

Tara Borlawsky, Tom Gurgiolo, and Tom Aubel 

WS05‐1: 

The Triple Aim is:   

(a) A framework developed by the Institute for Healthcare Improvement (IHI) for accelerating improvement by rapidly diffusing innovations and new ideas within and between organizations  

(b) An analytic framework quality developed by the Institute of Medicine (IOM) for assessing effectiveness and safety, timeliness and patient‐centeredness, and efficiency or equity of care  

(c) A framework developed by the Institute for Healthcare Improvement (IHI) for optimizing health care including improving patient experience and population health, and reducing the cost of care  

(d) A framework developed by the National Quality Forum (NQF) to identify key drivers of population, opportunities to align quality improvement programs, and measures to fill gaps associated with population health and affordability   

 Answer: (c) A framework developed by the Institute for Healthcare Improvement (IHI) for optimizing health care including improving patient experience and population health, and reducing the cost of care    Explanation:  The IHI Triple Aim is a framework developed by the Institute for Healthcare Improvement that describes an approach to optimizing health system performance. It is IHI’s belief that new designs must be developed to simultaneously pursue three dimensions, which we call the “Triple Aim”: ‐‐ Improving the patient experience of care (including quality and satisfaction); ‐‐ Improving the health of populations; and ‐‐ Reducing the per capita cost of health care.    Reference: http://www.ihi.org/engage/initiatives/tripleaim/pages/default.aspx  The other frameworks referenced in the possible responses are: (a) IHI Framework for Spread (http://www.ihi.org/resources/Pages/IHIWhitePapers/AFrameworkforSpreadWhitePaper.aspx)  (b) IOM Six Domains of Health Care Quality (https://cahps.ahrq.gov/consumer‐reporting/talkingquality/create/sixdomains.html#_ftn1)  (d) NQF Population Health Framework (http://www.qualityforum.org/ProjectDescription.aspx?projectID=73377)  

 

50 | P a g e  

 

WS05‐2: 

Under the traditional fee‐for‐service (FFS) health care reimbursement models, doctors and other health care providers are paid for each service performed. Alternatively, bundled payment models cover all aspects of the care that a patient receives during the course of treatment for a specific illness, condition or medical event. Which of the following can be a source of savings if using a bundled payment model instead of a FFS reimbursement model?    (a) Negotiated total cost that is less than the sum of the disparate services  

(b) Additional charges can be applied for complications that may arise from the care  

(c) Providers can decide which services are included or excluded in an episode of care  

(d) Any savings that arise from the lower cost for the bundle benefit the payer only    Answer: (a) Negotiated total cost that is less than the sum of the disparate services  Explanation:  By using bundled payments, savings can be realized in three ways:  (1) Negotiating a payment so the total cost will be less than fee‐for‐service;  

(2) Agreeing with providers that any savings that arise because total expenditures under episode‐of‐care payment are less than they would have been under fee‐for‐service will be shared between the payer and providers; and/or  

(3) Savings that arise because no additional payments will be made for the cost of treating complications of care, as would normally be the case under fee‐for‐service.    Reference: http://www.ncsl.org/research/health/episode‐of‐care‐payments‐health.aspx  

WS05‐3: 

The Centers for Medicare and Medicaid (CMS) Comprehensive Joint Replacement (CJR) initiative:    (a) Was created by the Affordable Care Act to test innovative payment and service delivery models that have the potential to reduce Medicare, Medicaid, or Children’s Health Insurance Program (CHIP) expenditures  (b) Is a bundled payment model that is mandatory in 67 geographic regions, and aims to support better and more efficient care for Medicare beneficiaries undergoing the most common inpatient surgeries  (c) Is designed to increase access to patient‐centered medical homes and support retrospective episode‐based payments for acute medical events  (d) Is a voluntary bundled payment model that incentivizes increased coordination of care among hospitals, physicians, and post‐acute care providers   

 

51 | P a g e  

 

 Answer: (b) Is a bundled payment model that is mandatory in 67 geographic regions, and aims to support better and more efficient care for Medicare beneficiaries undergoing the most common inpatient surgeries    Explanation:  The Comprehensive Care for Joint Replacement (CJR) model aims to support better and more efficient care for beneficiaries undergoing the most common inpatient surgeries for Medicare beneficiaries: hip and knee replacements (also called lower extremity joint replacements or LEJR). This model tests bundled payment and quality measurement for an episode of care associated with hip and knee replacements to encourage hospitals, physicians, and post‐acute care providers to work together to improve the quality and coordination of care from the initial hospitalization through recovery. CMS has implemented the CJR model in 67 geographic areas, defined by metropolitan statistical areas (MSAs).  Reference: https://innovation.cms.gov/initiatives/cjr  The other models referenced in the possible responses are: (a) CMS Bundled Payments for Care Improvement (BPCI) Initiative (https://innovation.cms.gov/initiatives/bundled‐payments/)  (c) State of Ohio Payment Innovation Initiative (http://medicaid.ohio.gov/PROVIDERS/PaymentInnovation.aspx)  

WS05‐4: 

Potentially Avoidable Complications (PAC) include events such as post‐surgical infections, blood transfusions, pressure ulcers, or unplanned readmissions, and associated costs can contribute to the overall cost of an acute care episode. With respect to creating a payment bundle, the financial risk associated with PAC costs is considered:    (a) The burden of the healthcare payer  (b) An equal “shared cost” between the payer and the provider  (c) The burden of the healthcare provider  (d) An equal “shared cost” among the overall risk pool based on the health care recipients    Answer: (c) The burden of the healthcare provider    Explanation: Because PACs are considered the responsibility of the healthcare provider, the associated costs are normally considered the responsibility of the provider as well.  One way to mitigate this burden is for the payer to intentionally inflate the reimbursement of the provider, and allow the provider to “keep” the inflation if there is no PAC experienced.  

 

52 | P a g e  

 

Reference:      Francois de Brantes, Amita Rastogi, and Michael Painter. Reducing Potentially Avoidable Complications in Patients with Chronic Diseases: The Prometheus Payment Approach. Health Serv Res. 2010 Dec; 45(6 Pt 2): 1854–1871. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3029843/  

WS05‐5: 

Which of the following are components of any episode construction logic:    (a) Provider rate schedule, trigger event, procedure codes  (b) Trigger event, patient co‐morbidities, geographic region  (c) Risk score calculation, provider rate schedule, trigger event  (d) Trigger event, complication codes, provider assignment    Answer: (d) Trigger event, complication codes, provider assignment    Explanation:  A trigger event is the signal or signals that determine when to open an episode. It is usually an inpatient stay – or index admission – for a particular condition or procedure, often defined as an MS‐DRG. Complication codes are often ICD9 or ICD9CM codes that are used to classify an episode as Typical or Complication. Provider attribution assigns a patient or patient‐episode to one or more providers based on the specific attribution rule used. Rules can be constructed and modified by the user in order to attribute certain episode types to certain providers. Information such as provider rate schedules and geographic region are not included in the episode construction logic, and risk scores are calculated after the episodes have been constructed.     

WS05‐6: 

Fraud, waste and abuse divert significant resources away from necessary care that is covered by federal and commercial program rules. A common potential waste of the healthcare system is to admit a patient to the hospital when an observation or outpatient setting would have been sufficient.  Which of the following types of information would be most appropriate to identify claims that might have been overpaid due to the patient being in an inappropriate setting?    (a) Inpatient length of stay, admission type, primary diagnosis code  (b) Patient age, admission type, primary diagnosis code  (c) Inpatient length of stay, discharge status, patient gender  (d) Admitting physician type, principal procedure code, primary diagnosis code   

 

53 | P a g e  

 

Answer: (a) Inpatient length of stay, admission type, primary diagnosis code  Explanation: A same‐day or next‐day discharge is an indicator that an inpatient stay was unnecessary; certain procedure and diagnosis codes are identified as ‘commonly outpatient’; an emergent admission is a commonly acceptable reason for an inpatient stay; however, patient age and gender have no correlation to appropriateness of setting.    Reference:   http://www.palmettogba.com/event/pgbaevent.nsf/vwAttach/93HNP36440/$File/ACT_Level‐of‐Care‐Inpatient‐Observation_Handout_1‐16‐2013.pdf  

 References for WS05: Haas D, Kaplan R, Reid D, Warsh J, West M. Getting Bundled Payments Right in Health Care. Harvard Business Review [Internet]. Oct 19 2015 [cited 22 Jan 2016]. Available from: https://hbr.org/2015/10/getting‐bundled‐payments‐right‐in‐health‐care.  Cutler D, Ghosh K. The Potential for Cost Savings through Bundled Episode Payments. New England Journal of Medicine. 2012;366(12):1075‐1077.  De Brantes F, Rastogi A, Painter M. Reducing Potentially Avoidable Complications in Patients with Chronic Diseases: The Prometheus Payment Approach. Health Services Research. 2010;45(6 Pt 2):1854‐1871. Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3029843/.  

Thursday, May 5, 9:30 AM ‐  10:30 AM 

 

S02: Panel ‐ Towards Better Health Outcomes – Informatics Role in Health Care 

Delivery ‐ Ravikumar Komandur Elayavilli, Sunghwan Sohn, Vinod Kaggal, and Hongfang Liu 

S02‐1: 

Why is information in unstructured data sources such as clinical notes important for a clinical decision support system like MayoExpertAdvisor?    A. Structured data have completely wrong information  B.  Structured data sources contain no information  C.  Unstructured data contain the most right information  D. Structured data need to be reconciled with information in unstructured data sources to provide the right context to make the right care recommendations    

 

54 | P a g e  

 

Answer: D. Structured data need to be reconciled with information in unstructured data sources to provide the right context to make the right care recommendations    Explanation: While structured data contain human curated data, it often involves time and effort to standardize information. Besides, these are secondary sources of information based on information recorded by physicians in clinical notes and other reports. They are prone to errors. Hence, it becomes important to combine information across multiple sources, both structured and unstructured data sources, to make the right recommendations to the physician.  

S02‐2: 

Despite extensive efforts to monitor and prevent surgical site infections, real‐time surveillance of clinical practice has been sparse and expensive or non‐existent. Which of the following reasons best explains this?    A. Currently there is a lack of measurement and reporting of surgical site infections.  B. Surgical site infections are very complicated for clinicians to identify.  C. Lagged abstraction of surgical site infection due to manual chart review and delay from capture to access data.  D. The definition of surgical site infections is not well aligned with clinical practice.    Answer: C. Lagged abstraction of surgical site infection due to manual chart review and delay from capture to access data.    Explanation: Currently, there are multiple efforts to report and monitor SSIs including ‐ Agency for Healthcare Research and Quality Patient Safety Indicator (AHRQ PSI) 13 to cover postoperative sepsis, National Healthcare Safety Network (NHSN) SSI via clinical surveillance, and American College of Surgeons National Surgical Quality Improvement Program (ACS‐NSQIP) via retrospective chart review of a sample of surgical cases. Clinicians are able to identify SSIs through multiple indications such as leak, purulent drainage, and micro‐biology results. Although there are some gaps between clinically meaningful SSIs and other definitions of SSIs (e.g., NSQIP), the most significant reason for sparse or non‐existent real‐time SSI surveillance is the lagged abstraction of SSIs due to retrospective manual chart review‐‐which is a real economic burden for many healthcare centers‐‐and delayed data access. Automated data collection and analysis and interpretation which can provide feedback to medical experts as a role of the clinical decision support would be required to realize real‐time SSI surveillance.    

 

55 | P a g e  

 

S02‐3: 

Is health care data "big data"? If not, why do we need a big data environment to process health care data?    A. Health care is big data and many times bigger than social media and astronomical data  B. Health care data is not big data in a strict sense, but the big data technology stack helps in processing data to deliver near real‐time solutions for clinical care needs.  C. Health care data is not big data and we do not need big data technology to solve health care problems  D. Health care data is not at all big data but big data infrastructure is being used as it is a hot topic.    Answer: B. Health care data is not big data in a strict sense, but the big data technology stack helps in processing data to deliver near real‐time solutions for clinical care needs.    Explanation: Health care data (both unstructured and structured data) may not qualify to be called big data in terms of data volume. However, in terms of velocity, veracity and data variety, health care data qualifies for a "big data" definition. Because clinical decision support systems require solutions that are near real‐time, a big data approach must be taken. Real‐time computation systems engineered to process large volumes of high‐velocity data may use a system such as Apache Storm, which processes streaming data in real time, or Apache Spark, a distributed computing framework.    

 

56 | P a g e  

 

S03: Presentations ‐ Usability 

A Novel Process for Electronic Health Record (EHR) Adoption which Challenges 

Traditional Adoption and Support Paradigms. – Joel Gordon 

S03‐1: 

The distribution of EHR skill scores from an EHR skill assessment tool in a primary care health system resembles the predictable pattern as described by Everett Rogers in his “Diffusion of Innovation” theory. This theory describes sub‐groups as innovators, early adopters, early majority, late majority and laggards.  When evaluating these sub‐groups of providers in this study the authors found which one of the following statements to be true?    A. The Diffusion of Innovation predicts and the study found a majority of providers fit in the innovator and early adopter sub‐groups.  B. The age and gender of the provider were strongly related to the level of adoption and EHR skill.  C. The outcome measures for the patients receiving care from the more adopted sub‐groups were statistically better than the outcomes measured for the late majority and laggards.  D. The average score for EHR satisfaction in each distribution group incrementally increased as one progressed from laggard to higher innovator sub‐group.  E. The dissatisfaction rate was significantly higher for the sub‐groups with lower adoption and skill level (laggards and late majority).    Answer: E. The dissatisfaction rate was significantly higher for the sub‐groups with lower adoption and skill level (laggards and late majority).    Explanation:  Everett Rogers’ Theory of Innovation suggests that when a technology is deployed on a population the level of adoption will vary between sub‐groups.  Dr. Rogers describes these sub‐groups as innovators, early adopters, early majority, late majority and laggards in a predictable distribution.  Our EHR skill level distribution was similar to Dr. Rogers’ theory, with this distribution having only a few of the providers (10‐15%) making up the innovator/early adopter group (A = false).   There are many things that affect this distribution that the author of this study calls “Provider Capital.” However, there is no evidence that age and gender is a determinant for level of adoption or skill (B = false).   The outcomes for Minnesota Community Measures (population health measurements for diabetes, colorectal cancer screening, and vascular wellness) between the groups weren’t different between the adoption/skill levels described (C = false).   When reviewing the average score of EHR satisfaction (as measured by a 5 pt Likert scale) there wasn’t a significant difference in the average satisfaction result between the Innovators groups (D = false).   This is likely due to the noted central tendency bias of this item.  However, when comparing the number of providers that were unsatisfied or very unsatisfied (“bottom box scores”) there was markedly increased dissatisfaction in the lower adopting/skilled groups (E = true).  This is particularly important in the context of the impact of clerical burden on job satisfaction, increasing burn‐out rate and the cost of staff recruitment and replacement.   

 

57 | P a g e  

 

 Reference: Rogers, Everett M. (1962). Diffusion of Innovations (first edition). Glencoe: Free Press.  

 

Factors Associated with Clinician Stress and Burnout: Results from the MS‐

Squared Study (Minimizing Stress, Maximizing Success from Health Information 

and Communications Technologies) – Philip Kroth 

S03‐2: Which of the following is NOT one of the major factors physicians commonly report about health 

information and communications technologies that contribute to their job stress:   

A. Slow or unpredictable system performance 

B. Having all patient information together in one place 

C. Ergonomic consequences such as eye strain, back pain, or hand/wrist pain 

D. Not enough time in clinic to complete patient documentation.   

Answer: B. Having all patient information together in one place   

Explanation: The most commonly reported positive aspect of health information and communications 

technologies (HICT) is that all of their patients' information is located in one place.  The remaining items 

are all commonly reported by physicians as being problems with HICT that contribute to their job stress. 

 

The Role of the Patient and Community in Health Information Technology 

Success – Theresa Cullen 

S03‐3: A community health worker provides clinical care to patients in her remote community. The 

community health worker has approached the CMIO of their base clinical hospital to inquire about 

possible changes to the interface to improve data collection in the field. The electronic health record 

was traditionally designed to facilitate the recording of community‐collected data using standardized 

human factors techniques endorsed by the vendor. What is the best way to develop and include the 

needs of the community health worker within the end product using an agile software development 

process?   

A.  Develop a community health worker persona that reflects the needs of the CHW 

B. Use a standard requirements process to identify the data fields that are needed by the community 

health worker  

C.  Ask the Community Health Worker to join the development team and provide ongoing input into 

the agile development process 

D.  Have a programmer develop wireframes that include the data fields that the CHW indicates are 

needed 

 

58 | P a g e  

 

Answer: C. Ask the Community Health Worker to join the development team and provide ongoing 

input into the agile development process   

Explanation: Agile development requires the ongoing involvement of subject matter experts (SME) 

during the development phase. Asking the community health worker, as representative of the 

community, to join the development team as one of the SMEs helps increase the chances of a successful  

development project. While personas, requirement elicitation and wireframes are critical parts of a 

software development lifecycle (SDLC) , the best way to ensure that the needs of the community health 

worker and her patients are included in the software are to ensure her involvement during the SDLC.   

 

References: 

Chung J, Pankey E, Norris RJ. Agile informatics: application of agile project management to the 

development of a personal health application. AMIA Annu Symp Proc. 2007 Oct 11:914. 

Kane DW, Hohman MM, Cerami EG, McCormick MW, Kuhlmman KF, Byrd JA. Agile methods in biomedical software development: a multi‐site experience report. BMC Bioinformatics. 2006 May 30;7:273.  

 

Thursday, May 5, 11:00 AM ‐  12:00 PM 

S04: Panel ‐ Informatics Strategies and Systems Engineering Tools for Making 

Acute Care More Patient‐Centered 

Kumiko Schnock, James Benneyan, Anuj Dalal, and Esteban Gershanik 

S04‐1:  

Which of the following statements is false with regard to the measuring unit‐based risk to patient 

safety?   

a)      Staffing of nurses below target levels has been associated with increased mortality 

b)      High patient turnover has been associated with increased mortality 

c)      Low nursing‐to‐patient staffing ratios decreases risk of hospital acquired adverse events 

(including falls, hospital acquired infections, pressure ulcers) and readmissions 

d)      a and b   

 

Answer: c)      Low nursing‐to‐patient staffing ratios decreases risk of hospital acquired adverse events 

(including falls, hospital acquired infections, pressure ulcers) and readmissions  

Explanation: Some data suggest that higher (or more optimal) nursing‐to‐patient staffing ratios is 

associated with lower risk of falls, ventilator associated pneumonia, and readmissions.  

 

59 | P a g e  

 

S04‐2: Which of the following statements is true with regard to the Patient safety checklist?   

a) The Patient safety checklist is designed for use by care coordinators to promote a continuum of 

transition of care  

b) The Patient safety dashboard is a patient centered communication tool to provide actionable plans 

for patients and family to prevent adverse events during their hospital stay 

c) The Patient safety dashboard provides information regarding hospital acquired harm as well as 

adverse events reported by a hospital incident report 

d) The Patient safety checklist uses data that is put into the patient safety dashboard to communicate 

with care team members    

Answer: b) The Patient safety dashboard is a patient centered communication tool to provide 

actionable plans for patients and family to prevent adverse events during their hospital stay   

Explanation: 

The Patient safety dashboard is a patient centered communication tool to provide actionable plans for 

patients and family to prevent adverse events during their hospital stay  

 

S04‐3: Which of the following related to the patient and family perspective of care concerns and safety 

reporting is true:   

a)      A patient or family perspective of safety threats may differ from a clinician’s perspective of 

safety threats 

b)      Fear of retaliation never occurs for patients or families that have safety incidents or threats they 

want to report 

c)       Only patients and families with low health literacy need to be educated about how to report safety 

threats 

d)      Care concerns from the patient and family perspective are narrow in scope and are not safety 

threats   

 

Answer: a) A patient or family perspective of safety threats may differ from a clinician’s perspective of 

safety threats   

Explanation: Patients and families have a unique and valuable perspective of care concerns and safety 

threats and these perspectives may differ from clinicians traditional perspectives of patient safety. 

 

   

 

60 | P a g e  

 

S05: Presentations ‐ Care Coordination 

The HIMSS Transitions of Care Framework – Michael Victoroff 

S05‐1: In the Transition of Care Framework, the Element labeled “Information Payload” refers to 

relevant information that should accompany the person being transferred. This item is among the most 

often deficient in practice. Missing information during transitions is a significant cause of patient harm, 

provider inefficiency and irritation for everyone. Which best explains why this component of care 

transitions is so difficult to execute?   

A. There is currently no standard format for patient transfer and referral information.  

B. Necessary TOC information can’t be effectively transmitted until there is better electronic interoperability between EHRs. 

C. “Summary” information generated by EHRs is generally poorly formatted, inadequately filtered, usually incomplete and often untrustworthy; a reliable “transition of care message” must be manually created, involving significant provider effort. 

D. There is currently no reimbursement code for generating patient transfer and referral information. 

E. State Boards of Medicine do not consider transferring patients without adequate information to be “unprofessional conduct.”   

 

Answer: C. “Summary” information generated by EHRs is generally poorly formatted, inadequately 

filtered, usually incomplete and often untrustworthy; a reliable “transition of care message” must be 

manually created, involving significant provider effort. 

Explanation: It is not clear that a standard format is necessary to meet the needs of most patient 

transfer and referral situations. Moreover, electronic standards for Continuity of Care Documents are 

well established. Data‐level interoperability is not required to transmit TOC content, which could use 

any of several secure (or even open) messaging systems. It would be unethical to withhold necessary 

medical information simply on the basis that financial compensation is inadequate. While it does 

constitute poor practice to transfer patients without necessary information, a disciplinary approach 

would not be the best remedy unless provider behavior is found to be the primary cause. The chief 

reasons why TOC information is inadequate has to do with EHR design flaws and provider workflow 

issues.   

 

S05‐2: Another Element of the TOC Framework is “Scope.” This refers to the expectations of all parties 

about what the receiving party is supposed to do. Confusion, error and harm result when the sending, 

receiving and transitioning parties are not clear about goals and contingencies. Healthcare professionals 

generally have a “loose” understanding about the differences between a “referral for specialized advice 

or testing,” a “consultation with the potential for a procedure,” a “transfer of responsibility for ongoing 

care,” and similar categories. What process seems most likely to reduce misunderstandings between 

providers?   

 

61 | P a g e  

 

A. Create a high‐level, inter‐professional commission with participation from all major specialties, to 

propose a uniform definition of the most common types of transition scenarios, with standardized 

language and terminology to assure optimal understanding by all parties. 

B. Make determining “Scope” part of TOC workflow, and incorporate a statement verifying 

understanding by sender and receiver into the documentation process. 

C. Lobby state legislatures to include a requirement for a “Scope” statement in every TOC form. 

D. Explain the purpose and goals of every TOC to the patient or family. 

E. Create a reimbursement code that covers the effort spent communicating with colleagues and 

patients.   

Answer: B. Make determining “Scope” part of TOC workflow, and incorporate a statement verifying 

understanding by sender and receiver into the documentation process.   

 

Explanation: Providers already have a good understanding of how TOCs work – still, occasionally their 

assumptions can be wrong.  (This can be a side effect of inadequate “Information Payload.”) Like wrong‐

site surgery, this is a team communication problem that is best addressed by team members. It just 

takes a bit of deliberate, formal communication, like a pre‐surgical time‐out. There would be little hope 

of a useful product from a “super committee” to define language for all circumstances. And, legislating 

this kind of professional process would be a terrible idea. While explaining the TOC to the people 

involved is excellent, and recognizing the effort required is certainly reasonable, these are not likely to 

be as effective as just building good practice into provider workflow.   

 

S05‐3: Task‐Oriented Medicine is the approach to care management that organizes patient care plans 

around future needs. To be effective, the Task List must be attached to the patient, rather than tethered 

to any provider. While each  provider may have a local reminder (“Tickler”) system to track follow‐up 

items for its own purposes, the Task List must be visible to the patient, caregivers and all providers. 

What is the biggest challenge in transmitting a Task List to the receiving provider, as part of a care 

transition?   

A. There is no standard format for a Task List.  B. There may be items on the Task List that the patient or family should not see  C. There will be items on the Task List that are irrelevant to the receiving provider  D. The Task List potentially creates liability for sender and receiver, by implying a duty to follow up  E. It is essentially impossible to reconcile separate Task Lists among multiple providers without some kind of “master list” that can be continuously updated on a shared network    

 

62 | P a g e  

 

Answer: E. It is essentially impossible to reconcile separate Task Lists among multiple providers 

without some kind of “master list” that can be continuously updated on a shared network   

Explanation:  

One of the most powerful benefits gained from electronic patient records for patient safety and care 

effectiveness is improved communication among providers. However, current EHRs, which are primarily 

intended for local uses such as charge capture, order entry and result reporting, do not fulfill this 

purpose very well. Simply “interoperating” raw data between sender and receiver is inefficient and 

dangerous. What’s needed is intelligent summarization of critical information, such as “tasks.” But, 

these become as useless as siloed Problem Lists, if they are not reconciled and updated. Unfortunately, 

detethered, “personal health records” maintained in community networks are extremely rare and hard 

to maintain. If this could be solved, details like formats, privacy, relevance and liability would be 

relatively easy to deal with.   

 

References: 

—Victoroff M, Meyer H, Linares A. Transitions of Care Framework. June 29, 2015. [Cited 2016 Mar 20]. 

Available from: 

http://www.himss.org/ResourceLibrary/genResourceFAQ.aspx?ItemNumber=42946 

 

—Transitions of Care Consensus Policy Statement: American College of Physicians, Society of General 

Internal Medicine, Society of Hospital Medicine, American Geriatrics Society, American College of 

Emergency Physicians, and Society for Academic Emergency Medicine. Medscape. Jul 01, 2009. 

 

—Samal H, et.al. Health Information Technology to Support Care Coordination& Care Transitions, A 

Commissioned Paper for the National Quality Forum. 2012. [Cited 2015 Dec 14]. Available from: 

http://www.qualityforum.org/WorkArea/linkit.aspx?LinkIdentifier=id&ItemID=69910 

 

The Longitudinal Care Plan Cycle: Understanding the Interface Between 

Patients, Caregivers, and Healthcare Teams in Chronic Disease Care – Kim Unertl, 

Christopher Simpson, Laurie Novak 

S05‐4: After assessing the three vendor products, the practice selects System X. Features of the selected 

system include: integrated collaborative longitudinal care planning for individuals with a chronic disease, 

secure messaging for the care team and the patient, patient portal features focused on chronic disease 

management, and modules for collection of patient‐generated health data. The system is gradually 

deployed across the various clinics. Over the next few weeks, complaints are received from patients and 

healthcare teams about delays, miscommunications, and problems with the new system. 

 

Which of the following best explains this observation?   

 

63 | P a g e  

 

A. People are resistant to change and do not have rational reasons for being concerned about the new system. 

B. The new system requires new perspectives on care, and will require changes in care processes and possibly also in staffing to improve support for chronic disease care. 

C. Despite their best efforts at system evaluation, the clinic leadership picked the wrong system for this clinic practice. 

D. A “big bang” implementation is empirically better than a gradual system deployment; the clinic should have implemented the system across all clinical areas at one time.   

 

Answer: B. The new system requires new perspectives on care, and will require changes in care 

processes and possibly also in staffing to improve support for chronic disease care.   

Explanation: 

Healthcare delivery is an example of a complex sociotechnical environment, where the technology and 

the humans using the technology interact in complex ways. The ambulatory clinic practice did a good job 

in following best practices for product selection and made the right choice for their environment by 

using a gradual deployment strategy. However, they failed to consider new processes that might be 

required by the new care model that the technology was based on. They also did not realize 

that changes might be needed in staffing, related to additional nursing resources for more “hands on” 

patient support. Addressing only the technology component of a new product deployment is just one 

part of a successful technology implementation. 

 

References: Lehmann CU, Unertl KM, Rioth MJ, Lorenzi NM. Change Management for the Successful 

Adoption of Clinical Information Systems. InClinical Informatics Study Guide 2016 (pp. 435‐456). 

Springer International Publishing. 

 

Lorenzi NM, Novak LL, Weiss JB, Gadd CS, Unertl KM. Crossing the implementation chasm: a proposal for 

bold action. Journal of the American Medical Informatics Association. 2008 Jun 30;15(3):290‐6. 

 

Unertl KM, Weinger MB, Johnson KB, Lorenzi NM. Describing and modeling workflow and information 

flow in chronic disease care. Journal of the American Medical Informatics Association. 2009 Dec 

31;16(6):826‐36. 

 

Wiegmann DA. Understanding Why Quality Initiatives Succeed or Fail: A Sociotechnical Systems 

Perspective. Annals of surgery. 2016 Jan 1;263(1):9‐11. 

 

Tang C, Xiao Y, Chen Y, Gorman PN. Design for Supporting Healthcare Teams. 

InCognitive Informatics for Biomedicine 2015 (pp. 215‐239). Springer International Publishing. 

 

Unertl KM, Holden RJ, Lorenzi NM. Usability: making it real from concepts to implementation and end‐

user adoption. InHealthcare Information Management Systems 2016 (pp. 165‐175). Springer 

 

64 | P a g e  

 

International Publishing. 

 

Queenan CC, Kull TJ, Devaraj S. Complements or Substitutes? Culture–Technology Interactions in 

Healthcare. Decision Sciences. 2016 Jan 1. 

 

S05‐5: An ambulatory clinic practice is considering several new technology options focused on improving 

support for individuals with a chronic disease and their healthcare teams. The clinic leadership does an 

initial assessment of the options and decides to have three vendors provide in‐person demonstrations of 

their chronic disease care modules. The vendors have agreed to present system features and allow 

hands‐on interaction with their products. Which of the following groups are most appropriate to include 

in the systems demonstrations and further assessments?   

A. Only clinic leadership 

B. Clinic leadership and physicians 

C. Clinic leadership and all clinical staff (e.g., nurses, nurse practitioners, physicians) 

D. Clinic leadership, clinical staff, and patients/families  

Answer: D. Clinic leadership, clinical staff, and patients/families   

 

Explanation:  

Existing models of chronic disease care stress the importance of involving and engaging individuals with 

chronic disease and their informal caregivers in healthcare activities. The Longitudinal Care Model 

extends these care models by indicating the ongoing, collaborative nature of healthcare decisions in 

chronic disease management. If one of the goals of the new system is to provide better support for 

individuals with chronic disease and their care teams, patients should to be involved in evaluating the 

options.   

References: 

Lehmann CU, Unertl KM, Rioth MJ, Lorenzi NM. Change Management for the Successful Adoption of 

Clinical Information Systems. InClinical Informatics Study Guide 2016 (pp. 435‐456). Springer 

International Publishing. 

 

Lorenzi NM, Novak LL, Weiss JB, Gadd CS, Unertl KM. Crossing the implementation chasm: a proposal for 

bold action. Journal of the American Medical Informatics Association. 2008 Jun 30;15(3):290‐6. 

 

Unertl KM, Weinger MB, Johnson KB, Lorenzi NM. Describing and modeling workflow and information 

flow in chronic disease care. Journal of the American Medical Informatics Association. 2009 Dec 

31;16(6):826‐36. 

 

Wiegmann DA. Understanding Why Quality Initiatives Succeed or Fail: A Sociotechnical Systems 

Perspective. Annals of surgery. 2016 Jan 1;263(1):9‐11. 

 

 

65 | P a g e  

 

Tang C, Xiao Y, Chen Y, Gorman PN. Design for Supporting Healthcare Teams. 

InCognitive Informatics for Biomedicine 2015 (pp. 215‐239). Springer International Publishing. 

 

Unertl KM, Holden RJ, Lorenzi NM. Usability: making it real from concepts to implementation and end‐

user adoption. InHealthcare Information Management Systems 2016 (pp. 165‐175). Springer 

International Publishing. 

 

Queenan CC, Kull TJ, Devaraj S. Complements or Substitutes? Culture–Technology Interactions in 

Healthcare. Decision Sciences. 2016 Jan 1. 

 

Thursday, May 5, 1:30 PM ‐  2:30 PM 

S06: Panel ‐ HeartLink Auscultation System Development and Proof of Concept 

in Yunnan Province, China ‐ Lee Pyles, Quan Ni, Pouya Hemmati, Andreas Tsakistos, and Bistra 

Zheleva 

S06‐1: What are challenges for screening and diagnostics of congenital heart diseases in low and middle 

income countries?   

A. lack of availability of health worker trained in auscultation or echocardiography 

 

B. lack of clinical guideline 

 

C. lack of government and non‐government support, payer coverage 

 

D. All of the above   

Answer: D. All of the above   

Explanation: 

Each of these represents a barrier to screening and diagnosis of congenital heart disease and we hope to 

address these with the HeartLink System. 

 

S06‐2: Why did CHL think that the stethoscope program will help develop cardiac services in LMIC? 

A. The program will provide a link between referring providers in communities and cardiology 

specialists in the LMIC cardiac center 

 

B. Cardiologists in the US can find patients who need operations to boost numbers 

 

C. The high profile procedure will attract more donors 

        

D. Telemedicine is sexy   

 

66 | P a g e  

 

 

Answer: A. The program will provide a link between referring providers in communities and 

cardiology specialists in the LMIC cardiac center   

 

Explanation: Although telemedicine is sexy and donors are necessary for an NGO, the Children's 

HeartLink thinks that the stethoscope project could present a transformative approach to unmet needs 

in pediatric cardiac care 

 

S06‐3: What was the most common murmur that was heard in the “HeartLink” Project?   

A. Austin Flint rumble 

B. Murmur of small muscular VSD 

C. Still's murmur 

D. Venous hum 

E. Mitral valve regurgitation   

 

Answer: C. Still's murmur   

Explanation: The Still's murmur is the most common innocent heart murmur and innocent murmurs are 

at least 50 times as common in children as pathologic murmurs from congenital heart disease. 

   

 

67 | P a g e  

 

S07: Presentations ‐ Quality Improvement 

Clinical Documentation Improvement (CDI) Initiatives That Drive Quality 

Performance and Financial Reimbursement ‐ Angie Curry 

S07‐1: Historically, in the inpatient setting, data collection occurred after the patient was discharged. 

After discharge, HIM professionals checked the record for discrepancies that could hinder code 

assignment. HIM professionals would then query the provider for clarification either by paper queries or 

other disconnected systems that were not part of the permanent medical record. Assuming national 

reporting initiatives require the specificity and accuracy of clinical documentation, which is the most 

vital role a CDI program would play within an organization?   

A. Investigate the progression of the patient through the healthcare system, making sure all acute and chronic conditions treated during hospitalization are reported and supported via clinical indicators within the EMR for the most accurate medical record. 

B. Investigate the progression of the patient through the healthcare system solely for the purpose of optimal reimbursement 

C. Improve the quality of care through advanced care coordination to in‐network facilities in order to prevent revenue leakage 

D. Reduce paper and inefficiencies while complying with Centers for Medicare and Medicaid Services (CMS) readmission measures 

E. Hire additional Full‐Time Equivalents (FTEs) to review more payers post ICD‐10 implementation 

    

Answer: A. Investigate the progression of the patient through the healthcare system, making sure all 

acute and chronic conditions treated during hospitalization are reported and supported via clinical 

indicators within the EMR for the most accurate medical record.   

Explanation: The goal of a CDI program directly aims to impact the clarity of the medical record prior to 

discharge. By initiating clarifications to the physician during the inpatient stay, CDI ensures the most 

accurate documentation at the point of care. Likewise, cases held for retrospective information are 

reduced and coding records are facilitated quickly decreasing time to reimbursement.   

References:  

AHIMA. Guidance for Clinical Documentation Improvement Programs [Internet]. 2010 May; 81(5): 

[about 1 p.]. Available from: 

http://library.ahima.org/xpedio/groups/public/documents/ahima/bok1_047343.hcsp?dDocName=bok1

_047343 

 

S07‐2: HHS set a goal of tying 30 percent of traditional, or fee‐for‐service, Medicare payments to quality 

or value through alternative payment models, such as Accountable Care Organizations (ACOs) or 

bundled payment arrangements in 2016, and tying 50 percent of payments to these models by the end 

of 2018.This is the first time in the history of the Medicare program that HHS has set explicit goals for 

 

68 | P a g e  

 

alternative payment models and value‐based payments. Which of the following best explains how a CDI 

program can impact government regulations?   

A. Connect the entire care team to increase knowledge and visibility of the working DRG 

B. Create commitment, build competence, and achieve results such as at‐risk revenue 

C. Hire additional FTEs to focus on care coordination and Centers for Medicare and Medicaid Services (CMS) readmission measures 

D. Review all payers, and help establish an ACO/shared risk with a certain payer 

E. Educate skilled nursing facilities and other post‐acute facilities in your provider network on these 

initiatives 

Answer: A. Connect the entire care team to increase knowledge and visibility of the working DRG 

Explanation: In addition to connecting people, process, and technology, a CDI program also creates new 

opportunities for bundled payment initiatives. Through increased visibility of the working DRG, clinical 

documentation specialists can assist case management staff to identify the working DRG and the 

physician can see how documentation is affecting the working DRG. For example, Centers for Medicare 

& Medicaid Services (CMS) newest bundled payment program covering knee and hip replacements 

starts April 1, 2016. A successful CDI program will increase knowledge around details related to the DRG 

such as relative weight, length of stay: arithmetic mean vs.  geometric, and Major  Diagnostic Category 

(MDC) for optimal CDI productivity and care team visibility.   

References: 

AHIMA. Guidance for Clinical Documentation Improvement Programs [Internet]. 2010 May; 81(5): 

[about 1 p.]. Available from: 

http://library.ahima.org/xpedio/groups/public/documents/ahima/bok1_047343.hcsp?dDocName=bok1

_047343 

 

 

 

 

Adherence to Sinusitis Treatment Guidelines in the evisit Setting: A Quality 

Improvement Project ‐ Kevin Smith  

S07‐3: A health care system wishes to improve appropriate antibiotic prescribing practices for the 

treatment acute bacterial rhinosinusitis (ABRS) in the virtual care (e‐visit) setting by improving clinician 

adherence to an evidence‐based clinical guideline. The initial baseline data demonstrated clinician 

adherence to the ABRS 95.2% of the time. Data analysis revealed that the most common reasons for as 

being identified as not adherent to guidelines were short duration of patient sinus symptoms and a lack 

of ABRS specific symptoms. Given the above information, which is the most appropriate intervention to 

improve adherence to the evidence‐based ABRS clinical guideline?   

 

69 | P a g e  

 

A. Add a link to the Infectious Disease Society of America web site on the clinician screen. 

B. Incorporate clinical decision support by highlighting patient history text related to the duration of 

ABRS symptoms and specific symptoms consistent with ABRS, and display a summary of the guideline 

criteria within the clinician workflow. 

C. Provide a variety of pop‐up reminders and alerts reminding clinicians of the importance of antibiotic 

stewardship. 

D. Disable e‐prescribing functionality for antibiotic medications to prevent clinician over‐prescribing.   

   

Answer: B. Incorporate clinical decision support by highlighting patient history text related to the 

duration of ABRS symptoms and specific symptoms consistent with ABRS, and display a summary of 

the guideline criteria within the clinician workflow.   

Explanation: The goal of this project was to improve adherence to ABRS treatment guidelines in the e‐

health visit setting. Various clinical decision support (CDS) interventions could be utilized when 

attempting to improve clinical practice including improvements in adherence to a specific clinical 

guideline. However, CDS strategies are most effective when the users are knowledgeable about the 

clinical guideline, are aware of their own performance related to the guideline, and are provided with 

CDS that is incorporated into their typical workflow – such as highlighting key data elements and 

including a brief summary of the guideline within the workflow. Individual interventions, such as 

provider education, may or may not result in changes in clinician adherence to clinical guidelines. In this 

case study, a modest improvement in clinician adherence to the ABRS guideline was observed with the 

combination of three interventions. However, future studies are needed to further investigate the 

effectiveness of specific individual quality improvement interventions versus the combined 

interventions used here.  

"A. Add a link to the Infectious Disease Society of America web site on the clinician screen" is incorrect 

as it requires the clinician to browse to an external web resource. Although the IDSA website has 

excellent evidence based guideline information, the clinician may have to search for the guideline 

articles making this workflow inconvenient and less effective.  

"C. Provide a variety of pop‐up reminders and alerts reminding clinicians of the importance of antibiotic 

stewardship" is incorrect since reminders about antibiotic stewardship are less specific or contextual 

compared to answer B. Pop‐up alerts and reminders may lead to “alert fatigue” which can reduce the 

CDS effectiveness.        

"D. Disable e‐prescribing functionality for antibiotic medications to prevent clinician over‐prescribing" is 

incorrect because it is extremely impractical. Disabling antibiotic prescribing would certainly prevent 

over‐prescribing of antibiotics but would also prevent the appropriate prescribing of antibiotics.   

References: 

−Gill JM, Fleischut P, Haas S, Pellini B, Crawford A, Nash DB. Use of an bio cs for adult upper respiratory 

infections in outpatient settings: a national ambulatory network study. Fam Med. 2006;38(5):349‐54. 

−Thomas M, Yawn BP, Price D, Lund V, Mullol J, Fokkens W, EPOS Primary care guidelines: European 

 

70 | P a g e  

 

position paper on the primary care diagnosis and management of rhinosinusitis and nasal polyps 2007 ‐ 

a summary. Prim Care Respir J. 2008;17(2):79‐89.     

‐Castillo RS, Kelemen A. Considerations for a successful clinical decision support system. Comput Inform 

Nurs. 2013;31(7):319‐26. 

 

Thursday, May 5, 2:45 PM – 3:45 PM 

S08: Presentations ‐ Data Sciences 1 

IBM Watson Analytics Academic Program ‐ Robert Hoyt, Dallas Snider 

S08‐1: An accountable care organization is concerned about their increased heart failure readmission 

rate. They have a data warehouse with two years of inpatient data. What is the standard data science 

process sequence to analyze their data?  

a. Exploratory data analysis, data pre‐processing, visualization, modeling 

b. Visualization, modeling, data pre‐processing, visualization 

c. Data pre‐processing, modeling, exploratory data analysis, visualization 

d. Data pre‐processing, exploratory data analysis, modeling, visualization   

Answer: d. Data pre‐processing, exploratory data analysis, modeling, visualization   

Explanation: 

The first step should always be pre‐processing (also known as data wrangling) where data is cleaned, 

integrated, reduced and/or transformed. Missing data and outliers will also have to be addressed. The 

next step is to discover your data with scatter plots, histograms and other descriptive statistical tools. 

You next build a model using statistical or machine learning tools. Lastly, you present and communicate 

your findings using a visualization scheme   

Reference:  

‐‐O'Neil C, Schutt R. Doing Data Science. First edition. Sebastopol: O'Reilly Media; 2014 

 

‐‐IBM Watson Analytics. http://www.ibm.com/analytics/watson‐analytics/ 

 

 

 

S08‐2: A hospital is concerned about its Hospital Compare ratings for AMI 30‐day mortality, compared to 

area hospitals. They have downloaded the spreadsheet available on the Hospital Compare web site. 

They have purchased IBM Watson Analytics. What data analytical processes can they utilize with this 

platform?        

 

71 | P a g e  

 

a. Clustering, neural networks, visualization 

b. Exploratory data analysis, predictive analytics, visualization 

c. Neural networks, classification, regression 

d. Exploratory data analysis, clustering, visualization    

Answer: b. Exploratory data analysis, predictive analytics, visualization  

As per the presentation IBM Watson Analytics automates descriptive, predictive and visual analytics. It is 

based on statistical modeling and doesn't include most of the machine learning algorithms such as 

clustering or neural networks.    

 

Applying NLP to Identify Complex Care Patients ‐ Shantanu Phatakwala, Andrew Placona 

S08‐3: There are many Continuity of Care Document (CCD) software vendors that sell Electronic Health 

Record (EHR) products for an outpatient setting. While HL7 provides coding standards, it has been noted 

that there are vast inconsistencies with how data are reported among vendors. Furthermore, each 

software package is proprietary.  What is likely the most difficult challenge in integrating data from a 

CCD?   

a. The vast number of potentially relevant number of concepts in an EHR 

b. Reconciling various coding systems (Snomed, CPT, RxNorm) 

c. Handling a variety of data types 

d. Inconsistent data structure   

Answer: d. Inconsistent data structure   

Explanation: While there are a vast number of potentially relevant concepts, computers and clinicians 

can identify the most relevant ones. Even with different coding systems, logic and mapping code sets 

exist to mitigate crossing from one code set to another. Programming techniques can convert data types 

or concepts into a standard format. However, without a consistent data structure, data mining is 

difficult since many of the coding systems are proprietary. It is difficult to get specs a priori to data 

extraction making the process one of trial and error.   

Reference: D’Amore JD, Sittig DF, Wright A, Iyengar MS, Ness RB. The promise of the CCD: challenges 

and opportunity for quality improvement and population health. In AMIA Annu Symp Proc 2011 Oct 

(Vol. 2011, pp. 285‐294). 

   

 

72 | P a g e  

 

S09: Presentations ‐ Workflow 

The Relationship of Provider Typing Speed to Adoption and Use of a Structured 

Documentation Tool ‐ Joel Gordon 

 

S09‐1: The costs for transcription are a significant percentage of overhead in running a medical clinic.  

These costs need to be analyzed as the healthcare dollar becomes increasingly tight. Which one of the 

following statements is true regarding the costs of transcription?   

A. Both US trade law and HIPAA privacy rules forbid transcription companies from outsourcing 

transcription to off shore (non‐US) work‐staff. 

B. In a typical primary care office the transcription costs for a document average about 5 cents per 

document/encounter. 

C. In a typical primary care office the transcription costs for a document average about 50 cents per 

document/encounter. 

D. In a typical primary care office the transcription costs for a document average about $5 per 

document/encounter. 

E. In a typical primary care office the transcription costs for a document average about $15 per 

document/encounter. 

F. When determining costs of documentation one can consider structured documentation as a NO COST 

option for documentation creation when comparing to transcription.   

Answer: D. In a typical primary care office the transcription costs for a document average about $5 per 

document/encounter.   

 

Explanation: Although there are no laws or barriers that forbid foreign distribution of outsourced 

transcription services, organizations can negotiate contracts that require this service to be fulfilled by 

domestic based transcription personnel (A =  false).  A 1998 study determined average cost of 

transcription per encounter in an academic primary care clinic using transcription was $3.96 and the 

median was $3.64. The cost per encounter ranged from $0.39 (3 lines of dictation) to $24.83 (191 lines 

of dictation).   15 years later, audits show these costs have escalated to $5‐6 per encounter/dictation.  

(B, C, and E =  false, D = True).  The costs of a self‐entry/structured documentation program need to 

account for additional hardware, software, support, decreased productivity during adoption and 

potential scribe staffing (F = false).  Despite those costs, the promise of structured documentation with 

future maturation and enhancements persists as these tools continue to be considered for further 

implementation.   

References: 

Lawler F.H., Scheid D.C, Viviani N.J.,  The Cost of Medical Dictation Transcription at an Academic Family 

Practice Center, Arch Fam Med., 1998 May – June; 7(3):269‐72. 

 

73 | P a g e  

 

 

S Trent Rosenbloom, Joshua C Denny, (et. al.) Data from clinical notes: a perspective on the tension 

between structure and flexible documentation, JAMIA, March 1, 2011, pgs. 181 – 186. 

 

http://www.costowl.com/b2b/medical‐transcription‐service‐cost.html 

 

S09‐2: The average typing speed of primary care providers measured in a small study in a multi‐clinic 

health system was ____ wpm.   The range was _____ to _____.   The number of documents that were 

generated using self entry/structured documentation doubled in the providers that had a keyboarding 

speed measured at above  _____ wpm.   

A. These numbers don’t matter because providers are not secretaries and will not do “clerical work.” 

B. Average typing speed was 74 wpm, ranging from 43 – 121 wpm. A notable increase in success was noted if the provider typed more than 85 wpm. 

C. Average typing speed was 42 wpm, ranging from 19 – 101 wpm. A notable increase in success was noted if the provider typed more than 50 wpm. 

D. Average typing speed was 22 wpm, ranging from 11 – 43 wpm. A notable increase in success was noted if the provider typed more than 20 wpm. 

E. This study proves that a provider can generate more documents with self‐entry/structured documentation if they increase their typing speed using typing tutor programs.   

 

Answer: C. Average typing speed was 42 wpm, ranging from 19 – 101 wpm. A notable increase in 

success was noted if the provider typed more than 50 wpm.   

Explanation: More and more onus is upon the provider to create and edit self‐entered documentation (A 

= false).  These efforts could be to constrain costs, but they also enable computer assisted diagnosis, 

computer assisted coding, and an avenue to inject best‐practices and more robust clinical decision 

support into practices.  After a fairly exhaustive literature search about this topic the authors 

determined there is very little information available about typing speed in providers. Additionally, there 

was less information about how the typing speed relates to success with these new keyboard 

dependent tools. We found the average typing speed was 42 wpm with a range of 19‐101 wpm.  There 

was a “break point” for a doubling of the average number of self‐entry documents/provider after 50 

wpm (B = False, C = True, D = False).  However, this study evaluated data from a single point in time 

without any post intervention reassessment therefore one cannot create a conclusion that typing speed 

interventions will result in more self‐entry tool documentation success (E = false). 

   

 

74 | P a g e  

 

Analytics for Optimization of in‐Hospital Workflows: An Application in 

Rehabilitation Therapy Service ‐ Krishnaj Gourab, Christina Kokorelis, John Adamovich, Albert 

Mears, & Barbara Rucizka 

S09‐3: Your department is migrating from a predominantly paper‐based to an electronic system for 

triaging patients. You have been tasked with mapping the current workflows and determining how best 

to implement them using electronic means. One of the goals of implementing this electronic system is to 

improve operational efficiency. Which of the following may jeopardize this goal?  

A. Simply computerizing existing (manual practices) leading to unnecessary sequencing of tasks 

B. Not allowing scope creep 

C. Allowing a resource to practice its specialty and use its specific qualities 

D. Leveraging new developments in networking and distributed databases to eliminate barriers between geographically scattered resources    Answer: A. Simply computerizing existing (manual practices) leading to unnecessary sequencing of tasks    Explanation:  

Parallel processing of tasks leads to improved efficiency. Modern IT systems have made it possible for 

multiple stakeholders, at geographically disparate locations to have access and work on the same 

information at the same time, thus allowing parallel processing of tasks. While implementing a new 

system, it is also imperative to allow the specialized resources to keep the roles they are proficient in, 

while clearly defining the scope and objectives of the proposed changes. 

Explanation for incorrect answers: Choice B is incorrect as not allowing scope creep (i.e. not allowing 

uncontrolled, unplanned growth or change in the project's scope) is essential for a project's success. 

Choice C is incorrect as allowing each resource to practice its own specialty not only makes the resource 

more efficient, but also the overall system (of which the resource is a part of) more efficient. Choice D is 

incorrect as leveraging technology to overcome geographic barriers is almost a norm in today’s business 

processes. Doing the same is unlikely to put your project in jeopardy. 

Reference: Van Der Aalst W, Van Hee KM. Workflow management: models, methods, and systems. MIT press; 2004.    

 

75 | P a g e  

 

S09‐4: You have been asked to constitute a division of analytics that will support quality improvement 

initiatives across your health care system. Which of the following is an accurate statement regarding 

data, analytics and quality improvement?   

A. The medium (for example, an interactive dashboard vs. a static report) via which information is presented is as important as the relevancy of the information. 

B. Real time analytics must include indicators aligned to the strategic/performance goals and have built‐in signals to suggest that an action is needed. 

C. From an analytics perspective, data and process are distinct entities and should be kept separate in their development cycle. 

D. Quality cannot be quantified, and therefore is not amenable to measurement, monitoring and 

analysis.   

 

Answer: B. Real time analytics must include indicators aligned to the strategic/performance goals and 

have built‐in signals to suggest that an action is needed.   

Explanation: 

Analytics should be designed to serve the goals of a clinical or business process. Data analytics can help 

in improving the quality of these processes by quantifying, measuring, and monitoring quality indicators 

and by signaling the need for a corrective action. 

Explanation for incorrect answers: Choice A is incorrect as it is of utmost importance that the 

information being presented is relevant to the clinical or business process, only then will it be used. 

Choice C is incorrect, because data often informs processes and processes generate data, both have to 

be considered while developing an analytics strategy. Choice D is incorrect as there are various 

measures of quality that can (and should) be used to benchmark performance or implement quality 

improvement. 

Reference: Strome TL. Healthcare analytics for quality and performance improvement. John Wiley & 

Sons; 2013. 

   

 

76 | P a g e  

 

Thursday, May 5, 4:15 PM–5:15 PM 

S10: Panel ‐ Comparative Effectiveness Research on Electronic Health Records: 

An Overview of the Clinical Informatics Research Collaborative ‐ Dean Sittig, Carl 

Vartian, Peter Embi, & Adam Wright  

 

S10‐1: Implementing, configuring, and optimizing electronic health records (EHR) in large healthcare 

delivery systems involves making thousands of configuration decisions, hundreds of workflow changes, 

and development of hundreds of clinical content artifacts (i.e., order sets, alert logic, default values). 

Many of these decisions, changes, and artifacts have the potential to lead to unintended adverse effects 

on patient safety, clinician efficiency, and organizational performance. Which of the following is the best 

way to gather evidence to support various configuration decisions that your organization must make? 

a. Ask your colleagues at other organizations and see what they think is best 

b. Gather data from different organizations to figure out which organizations have the best performance and then compare and contrast the configuration decisions of the best organizations with those of the lower performing organizations. 

c. Ask your vendor what they think is best. 

d. Ask your favorite clinical champions in your organization what they think is best   

 

Answer: b. Gather data from different organizations to figure out which organizations have the best 

performance and then compare and contrast the configuration decisions of the best organizations 

with those of the lower performing organizations.   

Explanation: Identifying the best configuration choices should be made on the basis of data if at all 

possible. Simply asking for the opinions of others is does not provide a sound evidence‐based basis for 

your decisions. 

 

 

 

 

S10‐2: Comparative effectiveness research (CER) on Electronic Health Records (EHRs) is designed to 

generate evidence to help inform decisions regarding the design, development, configuration, 

implementation, use, and evaluation of EHRs. It seeks to accomplish this by gathering evidence on the 

safety and effectiveness of various features, functions, uses, and outcomes associated with 

implementation and use of different EHRs across different healthcare organizations. Before conducting 

such studies one should…   

 

77 | P a g e  

 

a. Work with your local human subjects protection committee (IRB) to obtain permission to review medical records, if required, and provide protection for the IT professionals or doctors (a.k.a. human subjects) you are interviewing to identify best practices. 

b. Ask your boss if it is ok to talk to some of your friends about different EHR configurations.  

c. Ask your EHR vendor if they can provide you with access to other organizations’ EHR so you can look for yourself to see how they have configured various applications. 

d. Just make the calls, it is always easier to ask for forgiveness than permission.   

   

Answer: a. Work with your local human subjects protection committee (IRB) to obtain permission to 

review medical records, if required, and provide protection for the IT professionals or doctors (a.k.a. 

human subjects) you are interviewing to identify best practices.   

Explanation: Before conducting research that involved human subjects, researchers should always work 

with their local IRB committee to get their approval before proceeding with any research activities 

 

S10‐3: We have formed the Clinical Informatics Research Collaborative (CIRCLE) to address EHR issues by 

creating a network of applied clinical informatics researchers who are committed to improving our 

understanding of these issues. CIRCLE members are involved in various aspects of the design, 

development, implementation, use and evaluation of all aspects of health information technology with a 

particular emphasis on EHRs. CIRCLE members are encouraged to…   

a. Use the CIRCLE mailing list to exchange jokes and political commentary. 

b. Use the CIRCLE mailing list to conduct surveys regarding important EHR‐related issues. 

c. Use the CIRCLE mailing list to ask for contributions to their favorite charity. 

d. Use the CIRCLE mailing list to seek retirement investment advice.   

 

Answer: b. Use the CIRCLE mailing list to conduct surveys regarding important EHR‐related issues 

Explanation: The CIRCLE mailing list should only be used for clinical informatics‐related research 

activities. 

 

S11: Presentations ‐ Data Sciences 2 

Applying Data Science to Electronic Health Records ‐ William Feaster, Louis 

Ehwerhemuepha 

S11‐1: Model‐based statistics depend on the specification of a probability model for the random process 

that generates the data (for example, a Normal Distribution). On the other hand, design‐based statistics 

depend on a researcher specifying a fixed population and the random process of selecting a sample is 

 

78 | P a g e  

 

completely under the control of the researcher. Which of these studies would require a design‐based 

statistical approach?         

A. A readmission study consisting of all patient encounters within a two‐year period 

B. A patient satisfaction study consisting of randomly selected samples from each nursing unit of a 

hospital within a two‐year period 

C. A longitudinal study of pain consisting of pain intensity scores of all inpatient encounter within a one‐

year period 

D. A survival analysis of all patients with Chronic Heart Failure within a five‐year period         

 

Answer: B. A patient satisfaction study consisting of randomly selected samples from each nursing 

unit of a hospital within a two‐year period   

 

Explanation: The patient satisfaction study incorporates data that is randomly selected from each 

nursing unit of a hospital. In this case, the researcher decided to stratify the population of patients by 

nursing units and is free to randomly select patients from each of these units. Consequently, the random 

process of generating the data is under the control of the researcher.   

References:  

James G, Witten D, Hastie T, Tibshirani R. An introduction to statistical learning. New York: springer; 

2013. 

 

Lumley T. Complex surveys: a guide to analysis using R. John Wiley & Sons; 

2011 Sep 20. 

 

S11‐2: Which of the following statements is accurate?   

A. Variables that are statistically significant in univariate statistical models are guaranteed to retain their 

statistical significance in a corresponding multivariate model consisting of additional variables 

B. Variables that are statistically significant in univariate statistical models may lose statistical 

significance in a multivariate model consisting of additional variables 

C. A model with a large number of variables is always desirable 

D. If a variable is statistically significant in a multivariate logistic model in which all known potentially 

confounding variables have been controlled for, the variable may be said to be a cause of the event 

under consideration   

Answer: B. Variables that are statistically significant in univariate statistical models may lose 

statistical significance in a multivariate model consisting of additional variables   

 

79 | P a g e  

 

 

Explanation: (A and B):  Univariate analysis is used to explore the individual effect of the variables under 

consideration for the development of a multivariate model. While a variable may show univariate 

statistical significance, there is no guarantee that additional variables and interactions between the 

variables will not cause a change in statistical significance.  

(C) As the number of variables in a model increases, the risk of overfitting the model or model instability 

increases.  

(D) Such variable may only be said to be associated with the event.   

References:  

James G, Witten D, Hastie T, Tibshirani R. An introduction to statistical learning. New York: springer; 

2013. 

 

Lumley T. Complex surveys: a guide to analysis using R. John Wiley & Sons; 2011 Sep 20. 

 

Predicting Change in Glycemic Control among Previously Controlled Type 2 

Diabetes Patients: A Machine Learning Approach ‐ Che Ngufor  

 

S11‐3: The investigation of change over time is key to empirical research in many disciplines. Is systolic 

blood pressure related to the development of coronary heart disease? What factors are associated with 

the risk of progression of type 2 diabetes?  How do different groups of students in my state compare to 

each other in terms of academic achievement over the course of college? Does my data exhibit distinct 

trajectory patterns? These research questions are best answered through the collection and analysis of 

what type of data?   

a) Cross‐sectional data 

b) Longitudinal data 

c) Time series data 

d) Observational data   

 

Answer: b) Longitudinal data   

Explanation: Longitudinal data include sporadic repeated measurements of the same outcome on many 

subjects at sparse, potentially irregular times over a long period of time. Time series are a sequence of 

observations measured uniformly over time from a random process on only a few subjects. While 

longitudinal and time series data are ordered by a variable such as time, they have different 

characteristics that call for different method of analysis. Cross‐sectional studies make comparison at a 

single point in time. Unlike cross‐sectional or time series studies, longitudinal studies are able to exploit 

 

80 | P a g e  

 

temporal heterogeneous effects, and sparse and varying length characteristics of subjects to detect or 

predict progression or changes in the outcome of the target population.  

Reference: 

Sela RJ, Simonoff JS. RE‐EM trees: a data mining approach for longitudinal and clustered data. Machine 

learning. 2012 Feb 1;86(2):169‐207. 

 

S11‐4: Most classification methods assume that the training data are drawn independently and 

identically from an unknown distribution (i.i.d), although this assumption is violated in in many real life 

situations. The implicit assumption by the machine learning and data mining communities is that even if 

the i.i.d assumption is violated, the algorithms would work well in practice. When would this not be the 

case?   

a) When we have cross‐sectional data with weak or no correlations between observations. 

b) When the observations in the data are systematically correlated. 

c) Small sample size data. 

d) Large sample size data.   

 

Answer: b) When the observations in the data are systematically correlated.   

Explanation: Most learning algorithms such as generalized boosted machines, decision trees, support 

vector machines and many others assume that the training data are i.i.d. However, when there is high 

degree of correlations between observations in the data this might introduce systematic bias in the 

estimation process and the classifier may not generalize well to new examples regardless whether the 

training data is large or small.   

Reference:  

Dundar M, Krishnapuram B, Bi J, Rao RB. Learning Classifiers When the Training Data Is Not IID. InIJCAI 

2007 Jan 6 (pp. 756‐761). 

    

   

 

81 | P a g e  

 

Friday, May 6, 9:45 AM– 10:45 AM 

 

S13: Panel ‐ The CCIO Task Force: An Interactive Panel on Knowledge, Education, 

and Skillset Requirements for the 21st Century ‐ Joseph Kannry, Thomas Payne, John 

Poikonen, Thankam Thyvalikakath, and Roy Simpson 

S13‐1: The CIO of RBH (Really Big Hospital) calls you into her office. She tells you the hospital is going to 

select a new EHR (Electronic. Health Record), implement it, and then optimize it. All to be done within 

the span of 24 months. She wants to hire a Chief Medical Informatics officer (CMIO). You advise her that 

the best candidate is:   

a. Physician with extensive EHR experience but very little Informatics education 

b. Physician with extensive Informatics education but limited EHR experience 

c. Physicians only but absolutely no PhDs, Masters 

d. Clinical Informatician educated in and experienced with Informatics   

   

Answer: d. Clinical Informatician educated in and experienced with Informatics   

Explanation: A and B are wrong as a CMIO needs both education and experience to succeed. C is wrong 

because PhDs with clinical exposure or experience have and can be CMIOs. D is correct as only D has 

both education and experience and includes all types of candidates. 

 

S13‐2: The Chief Nursing Officer of RBH wants to hire a Chief Nursing Informatics Officer (CNIO). She 

wants this person to be highly qualified. The CNIO must have:   

a. Completed a nursing informatics fellowship 

b. Passed a nursing informatics certification exam 

c. Possess an advanced degree in nursing Informatics  

d. Current in all nursing practice requirements   

Answer: c. Possess an advanced degree in nursing Informatics    

Explanation: A and B are both wrong because they are not by themselves a substitute for an advanced 

degree. D is wrong because while a CNIO would be expected to be very familiar with current nursing 

practice that by itself is insufficient for the position. The CCIO task force strongly recommended that 

CNIOs have an advanced degree in nursing Informatics.  

 

 

 

82 | P a g e  

 

S13‐3: RBH has physician, nursing, pharmacy, and dental CCIOs (Chief Clinical Informatics Officers). The 

leadership of RBH wants to create an Office Of Clinical Informatics because:   

a. Space will be saved having these four share an office 

b. Communication will be improved by proximity and frequent interaction 

c. Four people are essentially doing the same job 

d. These professionals have knowledge, education, training and skillsets in common 

 

Answer: d. These professionals have knowledge, education, training and skillsets in common   

Explanation: A and B are wrong because while these things may be true they are not the best answer to 

the question. C is wrong because there are differences related to discipline (medicine, nursing, 

pharmacy, and dental). The CCIO Task force found that all 4 disciplines have more in common than their 

disciplines would indicate. This commonality is the Informatics knowledge, education, training and 

expected skillsets. 

 

 

S14: Presentations ‐ Mobile Technology 

Evaluation of Mobile Continuous Vital Sign Surveillance on Clinical Workflow ‐ Rosemary Kennedy, Ida Androwich 

S14‐1: In accordance with public policy and private groups, the use of health information technology is 

tightly related to improving patient safety and quality(1). The growth of mobile health information 

technology, in particular, shows promise for streamlining clinical workflow.  Despite these promises, 

there are concerns and a lack of research demonstrating the impact of health information technology 

(HIT) on clinical workflow(2). Concurrently, the existing research is difficult to interpret as there are over 

one hundred definitions of workflow (3).  The definition of workflow used in HIT research and 

implementation is important as it guides the investigator in selecting the appropriate measurement tool 

(4). 

You are chartered to conduct a constructive analysis of workflow to inform the design and 

implementation of a body‐worn mobile device for continuous vital sign capture in general care wards. 

The focus is on “efficiency” in vital sign data capture as measured by time savings.   What are the most 

appropriate steps to define workflow?   

A. Define workflow focused on the nature and impact of interruptions as this time impacts task time 

B. Define workflow using a definition focused on how much time tasks consume 

C. Define workflow focused on the information needs and cognitive processes of workers 

D. Define workflow focused on the dimension of time, the relationship among routine tasks, and 

interactions among workers   

 

83 | P a g e  

 

Answer: B. Define workflow using a definition focused on how much time tasks consume 

Explanation: The goal is to identify the time it takes to complete discrete activities related to capture of 

vital signs. This requires the definition of vital sign capture at a level of granularity that explicitly 

identifies the discrete tasks, with appropriate categorization of the tasks, with subsequent capture of 

the time it takes to complete each task.  The definition of workflow for this project must focus on how 

much time tasks consume.   Defining workflow based on the nature of interruptions, the relationship 

among routine tasks, cognitive processes, and interactions among workers includes concepts related to 

workflow but fails to focus on how much time specific tasks consume.  There are approximately 18 

categories related to the orientation towards workflow (cognition and information processing, systems 

view, taxonomy, ergonomics, design, etc.) (5). Focusing on a specific category, such as time, is more 

closely aligned with the desired outcome (efficiency), as directed by the goals for the project.  Given the 

broad domain space of workflow, understanding the specific goals for the project is important.   

 

References:  

1. Hendrich A, Chow MP, Skierczynski BA, Lu Z.A 36‐hospital time and motion study: how do medical‐

surgical nurses spend their time? Perm J. 2008 Summer;12(3):25‐34. 

2. Pawar P, Jones V, Van Beijnum B, Hemmens H.  A framework for the comparison of mobile patient 

monitoring systems.  Journal of Biomedical Informatics. Journal of Biomedical Informatics. 2012; 45 (2): 

544‐556. 

3. Shever L. The impact of nursing surveillance on failure to rescue. Research and theory for nursing 

practice: An International Journal. 2011; 25(2): 107‐126. 

4. Unertl K, Novak L, Johnson K, Lorenzi N. Traversing the many paths of workflow research: developing 

a conceptual framework through a systematic review of the literature. J Am Med Inform Assoc. 2010; 

(17): 265‐273. 

5. Unertl  K,  Weinger  M, Johnson K,  Lorenzi N.  Describing and modeling workflow and information 

flow in chronic disease care. J Am Med Inform Assoc.  2009; (16): 826‐836. 

6. Watkinson P, Barber V, Price J , Hann A, Tarassenko L, Young J.  A randomized controlled trial of the 

effect of continuous electronic physiological monitoring on the adverse event rate in high risk medical 

and surgical patients.  Anesthesia. 2006; (61): 1031‐1039. 

7. Zheng K, Guo M, Hanauer D. Using the time and motion method to study clinical work processes and 

workflow: methodological inconsistencies and a call for standardized research.  2011; (18): 704‐710. 

 

The Need for a Mobile Medical Photography Standard – Oliver Aalami 

S14‐2: A resident is in the emergency room and is seeing a post‐operative patient for pain and swelling 

at the operative site. The wound has erythema and there is drainage from the incision. She is uncertain 

if the patient should be admitted or simply be given oral antibiotics and sent home. She chooses to send 

a photo to her attending from her personal cell phone using her iPhone’s native messaging app. This is a 

very efficient way to communicate.  What are some steps that would be required to make photo sharing 

HIPAA compliant in this scenario?   

 

84 | P a g e  

 

A.  Photo should be encrypted at rest, in flight (during transmission) and the resident needs 

permission from the patient to take the photo.  

 

B. There are no HIPAA compliant solutions available for the resident to use her personal phone. 

 

C. The resident needs to have a Business Associate Agreement (BAA) in place with the patient. 

 

D. The resident should use the patient’s phone to take the photo and send to her attending.   

Answer: A.  Photo should be encrypted at rest, in flight (during transmission) and the resident needs 

permission from the patient to take the photo.    

Explanation: 

The resident is obligated to act as a covered entity and follow HIPAA guidelines to safeguard Protected 

Health information (PHI). Basic principles as discussed in the 2003 Security Rule include data encryption 

at rest and in‐flight (during transmission) as well as the execution of a Business Associate Agreement 

with any third parties that will receive and store PHI. Other safeguards recommended include Access 

Controls and Audit Controls, among others.   

Reference: HHS.gov [Internet]. Washington, D.C. c2016. Department of Health & Human Services. 

Available from: http://www.hhs.gov/hipaa/for‐professionals/index.html 

 

 

Introducing iPET: Interactive Patient Engagement Technologies – Perry Gee, Frances Patmon, Tina Rylee 

S14‐3: A large community hospital is implementing a new technology system designed to improve 

patient engagement.  Research has shown patients who are engaged in their care are more likely to 

have better patient outcomes and reduced health care costs.  It has also been suggested that user 

acceptance is a significant barrier to full system adoption.  This new system will be piloted on the 

telemetry unit where the majority of patients have been newly diagnosed with congestive heart failure.  

Training has been scheduled for all nursing staff.  To fully utilize the benefits of the new patient 

technology system, which of the following is the most appropriate?   

A. The training plan should be reviewed for common troubleshooting tips 

B. The training schedule should be distributed amongst the nursing staff 

C. Contact numbers for staff super users and vendor trainers should be collected 

D. The training plan should be reviewed for adequate training time and clinical nursing practice 

applicability   

   

 

85 | P a g e  

 

Answer: D. The training plan should be reviewed for adequate training time and clinical nursing 

practice applicability   

Explanation: 

Nurses are usually at the forefront of initiatives designed to improve patient outcomes.  Examples of 

such initiatives include Smart Pumps, Electronic Health Record (EHR) and interactive patient 

technologies.  In order to fully optimize the benefits of these technologies, it is imperative that nursing 

staff or those directly involved in daily usage of these systems receive not only adequate training time 

but also specific training on how these new technologies can benefit their practice. 

 

Friday, May 6, 11:15 AM–12:15 PM 

 

S15: Presentation – Data and Network Security – JoEllen Frain 

S15‐1: Cybercriminals are looking for commodities that can be quickly sold to the highest bidder.  In 

2015, what type of commodity were cyber thieves targeting for theft and receiving the highest payout 

for? 

E. Credit Cards 

F. Bank Account information 

G. Social Media profiles 

H. Health care records 

 

Answer: D. Health care records 

Explanation: Credit Card and bank accounts have a limited life span once stolen. Once the account is 

closed the stolen record has no value. A social media account while valuable from a social engineering 

standpoint has limited value from a financial exploit perspective.  Health care records are highly 

lucrative for identity theft due to the extent of identity theft that can be conducted from the stolen 

record.  

 

S15‐2: From a young age we are conditioned for the threat of physical crime, we are now faced with a 

whole new type of criminal activity and it happens through technology.  

The first step in Security Awareness is being able to ________ a security threat. 

E. Avoid 

F. Recognize 

G. Challenge 

H. Log 

 

86 | P a g e  

 

 

Answer: B. Recognize 

Explanation: Our ability to recognize a security threat is a critical factor in protecting our organizations 

and ourselves.  Cybercriminals are sophisticated and motivated. There is no level of technology that will 

protect our data 100% of the time.  Being able to recognize a threat is fundamental in protecting 

information. 

 

S15‐3: What is the biggest vulnerability to computer information security? 

E. Instant Messaging, Peer‐to‐Peer (P2P) applications 

F. Malware ‐ virus, worms, spyware 

G. Spam, Phishing attacks 

H. End Users 

 

Answer: D. End Users 

Explanation: According to the Institute for Critical Infrastructure Technology, the human element of cyber security continues to be the weakest element. Attacks by cybercriminals typically start with targeting staff through phishing or other social engineering tactics. Ongoing end user training and awareness must be a component of a well‐rounded security program. 

 

S16: Presentations ‐ Population Health 

Information Visualization for Population Health Management via Cognitively‐

Guided Disease Risk Assessment ‐ Rema Padman  

S16‐1: Assessing and responding to many patients’ risks of chronic diseases and related complications 

are complex, high‐dimensional information processing problems faced by time‐constrained clinicians. 

Innovative algorithms and tools which combine statistical machine learning, information visualization 

and electronic health data may reduce clinicians’ information processing load and improve their ability 

to assess risk of disease onset and related complications. A critical element in visualization is the 

incorporation of flexibility in customizing assessments to the needs of unique patient populations. 

Suggested by this study, which insight can be obtained via a 2‐dimensional visualization of chronic 

disease risk that is contextualized by the risk factors?   

a. Confidence intervals for population‐level risk stratification 

b. Drivers of risk for the population and individual patients 

c. Best interventions for an individual patient 

d. Patient clusters that may benefit from an intervention   

 

87 | P a g e  

 

 

Answer: b. Drivers of risk for the population and individual patients   

Explanation: The 2‐d visualization of the high dimensional risk assessment problem stratifies population‐

level risk into high and low risk regions and displays the distribution of risk in the population, but does 

not provide confidence intervals for the predictions. However, the contextualizing this distribution with 

the risk factors allows the highlighting of the drivers of risk at the population level as well as for 

individual patients. The method also suggests possible interventions for each patient, based on 

modifiable risk factors, but does not identify the best intervention. The most appropriate intervention 

for a given patient results from a shared decision making exercise between the clinician and the patient 

using the suggested interventions. Identifying clusters of patients who may benefit from a specific 

intervention cannot currently be obtained from the 2‐d visualization. 

 

Use of a Local Learning Healthcare System to Improve the Health of Patient and 

Community ‐ Amy Sitapati, Barbara Berkovich 

S16‐2: The IOM Charter and Vision Statement for the Learning Healthcare system states, “that, by the 

year 2020, ninety percent of clinical decisions will be supported by accurate, timely, and up‐to‐date 

clinical information, and will reflect the best available evidence.” What types of health IT were deployed 

at the local level that supported the HIV quality outcomes predictive of a public health impact? 

A. Sustainable Timely Operational Registry in the EHR (STORE)  

B.  Bulk ordering and messaging 

C.  Risk scoring 

D. All of the above   

Answer: D. All of the above   

Explanation: The Sustainable Timely Operational Registry in the EHR (STORE) formed a centralized 

repository of the patients in the HIV cohort with high risk scores or care gaps. Because this information 

was maintained within the electronic health record system, bulk ordering and bulk messaging could be 

performed for all patients due for an evidence‐based intervention. These automated forms of outreach 

complemented the efforts of clinical staff and helped achieve the quality targets.    

Reference:  

Aisner D, Olsen L, McGinnis JM. The Learning Healthcare System: Workshop Summary (IOM Roundtable 

on Evidence‐Based Medicine): National Academies Press; 2007. 

   

 

88 | P a g e  

 

Development of a Health Registry Ontology ‐ Barbara Berkovich, Amy Sitapati 

S16‐3: Drolet (2008) states that the use of a single term, “registry,” to refer to databases of clinical 

information ranging from biomedical informatics, clinical research, public health, to evidence‐based 

practice impedes the ability to locate  and learn from the literature about specific types of registries. 

In what way would an ontology help to remedy this problem?   

A. An ontology would define once and for all what a registry is and is not. 

B. An ontology would help researchers identify registries of observational data. 

C. An ontology provides a specification written in a formal language that defines a shared 

conceptualization and vocabulary. 

D. An ontology would define a method for assessing data quality in a registry.   

Answer: C. An ontology provides a specification written in a formal language that defines a shared 

conceptualization and vocabulary.   

Explanation: The development of a registry domain ontology would define terms and relationships 

providing researchers with a shared language to frame their questions and findings regarding clinical 

registries. This is the best choice for overcoming the semantic problem described by Drolet (2008) which 

occurs when the same word, "registry," has many meanings. 

 

The concept and methods of registry use are rapidly developing, so a static definition would be of 

limited use. A directory of registries would help researchers find observational datasets, but is not the 

same as an ontology. An ontology would be helpful in identifying determinants and definitions of data 

quality, but would not constitute a method of quality assessment.   

References: 

Drolet BC, Johnson KB. Categorizing the world of registries. Journal of biomedical informatics. 

2008;41(6):1009‐20. 

 

Musen MA, Noy NF, Shah NH, Whetzel PL, Chute CG, Story MA, et al. The National Center for Biomedical 

Ontology. Journal of the American Medical Informatics Association : JAMIA. 2012;19(2):190‐5. 

 

Friday, May 6, 1:45 PM–2:45 PM 

 

S17: Panel ‐ Approaches to Combating the Patient Portal Sprawl ‐ Santosh Mohan, 

Timothy Burdick, Travis Bond, Michelle McGuire 

S17‐1: Mr. Grant is an 82‐year old retired mechanic. He sees you, his PCP, at a community health center. 

A year ago, you started managing his care via a portal, and you both agree that it has been helpful. He 

also has separate portals with: ophthalmology at a specialty eye center; cardiology and orthopedics at a 

multispecialty group; and walk‐in clinic in his neighborhood. Recently, his healthcare insurance company 

 

89 | P a g e  

 

and his pharmacy each gave him online access, too. Today, Mr. Grant is in your office after being 

admitted to a community hospital while traveling out of state. He knows that he had some medication 

changes. At discharge, they gave him a new portal. When he logged in for the first time, he noted that 

much of the information on the portal was wrong or missing. He has decided to close every portal, 

stating “If I close them all, then at least the records won’t be wrong.” After listening to his concerns, the 

best advice for him is which?   

A. He should shut down all his portals. Older adults with multiple medical conditions are not good 

candidates for using patient portals. 

B. He should keep all the portals open. Unused portals do not represent any risk. He should routinely 

contact all his providers individually to update the information. 

C. He should close infrequently‐used portals, such as the one with the out of state hospital. He should 

keep the portal with you, his PCP; your staff will work with him to make it as complete and accurate 

as possible. His multispecialty group portal is optional. 

D. He should sign up with a centralized portal company that will aggregate the data from all other 

portals. The central portal will always be reliable, complete, and accurate.   

 

Answer: C. He should close infrequently‐used portals, such as the one with the out of state hospital. 

He should keep the portal with you, his PCP; your staff will work with him to make it as complete and 

accurate as possible. His multispecialty group portal is optional  

Explanation: Infrequently used portals could lead to miscommunication and subsequent adverse events. 

If a provider sends a message to a patient – or shares in important lab result – there is an assumption 

that the patient received the message. While some portals can be configured to send read‐notification 

messages (or notification if a message is unread after a designated time), this type of confirmation is not 

routine. Therefore, patients and providers should consider closing accounts that are not likely to 

increase communication reliability. Patient Centered Medical Homes (PCMH), often with a primary care 

provider, are often committed to keeping a centralized, updated medical record. The patient portal can 

help insure completeness and accuracy of the record. 

 

Closing all patient portals is not desirable (Answer A). Portals can improve patient satisfaction, patient 

engagement, and clinical outcomes. Portals may increase clinic operational efficiency. Older patients (50 

– 75 years old) are active users of patient portals, despite the pervasive myth that this demographic 

does not engage with electronic communications. As noted above, keeping all portals open may cause 

communication errors, and it is unrealistic to expect patients to use and reconcile six or more 

independent portals (Answer B). Centralized portals can aggregate data from multiple sources, including 

lab companies, pharmacies, and EHRs. In the current environment, these untethered, aggregated central 

portals require significant manual work by the patient to link accounts, likely will not access data from all 

other portals, and will not always be reliable, complete, and accurate (Answer D). There is hope that 

future, untethered centralized portals will take advantage of standards and interoperability 

technologies. A national voluntary patient safety identifier, encouraged by many including AHIMA, 

would greatly facilitate such efforts.   

 

90 | P a g e  

 

References: 

Cho AH, Arar NH, Edelman DE, Hartwell PH, Oddone EZ, Yancy WS Jr. Do diabetic veterans use the 

Internet? Self‐reported usage, skills, and interest in using MyHealtheVet Web portal. Telemed J E Health. 

2010 Jun;16(5):595‐602. doi:10.1089/tmj.2009.0164. PubMed PMID: 20575727. 

 

Emmont S. Measuring the impact of patient portals: What the literature tells us. California Healthcare 

Foundation. 2011. Available at: http://www.chcf.org/publications/2011/05/measuring‐impact‐patient‐

portals Accessed 4/1/2016. 

 

Dullabh P, Sondheimer N, Katsh E, Evans MA. How Patients Can Improve the Accuracy of their Medical 

Records. eGEMs (Generating Evidence & Methods to improve patient outcomes): 2014: 2(3); Article 10. 

Available at: http://repository.academyhealth.org/egems/vol2/iss3/10 Accessed 4/1/2016. 

 

S17‐2: Morgan is a patient who has 9 different providers who each have their own portal login. She is 

being referred to a specialist and wants to be involved in her care coordination. She does not want to 

rely on her memory, fill out a lot of forms, or find out that the new doctor doesn’t have any of her 

recent x‐rays, MRIs or primary doctor’s records. She has seen three other doctors for issues that are 

related to her upcoming visit. She cannot imagine logging into so many portals to try to figure out how 

to share that information with her new doctor. She does not want to have tests repeated or have her 

treatment delayed due to coordination issues. What is the best advice for her to prepare for the visit? 

A. Personally get copies of all important documents from her various providers/portals and bring all of 

them with her to the visit. 

B. Download data from her Fitbit and Apple Health account and bring the Excel files with her to the visit 

C. Use a single, consolidated report that explains relevant history, current health information, the x‐

rays and MRI ahead of the visit through a personal health record app and/or care coordination 

service. 

D. Tell her new physician the name and contact information for the three other doctors 

E. Do the best she can to memorize and share the information with the doctor   

 

Answer: C. Use a single, consolidated report that explains relevant history, current health information, 

the x‐rays and MRI ahead of the visit through a personal health record app and/or care coordination 

service.  

Explanation: The goal of the health system is to achieve the best possible outcome for the patient. By 

aggregating and sharing the relevant information with providers and family caregivers before and after 

the visit, the patient is more likely to remember and accomplish the care plan.     

 

 

91 | P a g e  

 

S17‐3: Grace is a 56‐year old cancer patient. She receives care from four different specialists, local 

hospital, cancer center, and you, her PCP and an eligible professional by meaningful use standards. 

Grace frequently accesses her records, results, and medications through a patient portal that is offered 

through a local HIE. All of Grace’s caregivers happen to be participants in this HIE and use this HIE’s 

portal to make information available to their patients. The HIE itself has been certified as an EHR 

Module for this purpose and has the ability to identify and verify the information that a particular 

provider may have contributed. In situations such as this, where multiple eligible professionals or 

eligible hospitals contribute information to a shared portal, how is it counted toward the meaningful use 

measure of View, Download, or Transmit when the patient accesses the information on the portal? 

A. None of the caregivers can take credit whether or not Grace views online, downloads, or transmits to 

a third party any of her health information from the shared portal 

B. All caregivers may count Grace in the numerator for this measure, even if one or more of them have 

not contributed any of the information to the portal 

C. All caregivers may count Grace in the numerator for this measure as long as they all have 

contributed at least some of the information to the shared portal, but not necessarily the particular 

information that was viewed, downloaded, or transmitted by Grace 

D. A caregiver may count Grace in the numerator if and only if Grace has specifically viewed, 

downloaded, or transmitted the particular information that the caregiver has contributed to the shared 

portal   

   

Answer: C. All caregivers may count Grace in the numerator for this measure as long as they all have 

contributed at least some of the information to the shared portal, but not necessarily the particular 

information that was viewed, downloaded, or transmitted by Grace   

Explanation: A notable incentive offered to providers by a HIE‐sponsored portal, in the context of MU, is 

the ability for all participating providers that contribute data to the portal to share credit and count 

patients who use the portal toward their 5% patient participation requirement. To receive credit toward 

5% of patients that view, download, or transmit their information, a provider must have contributed 

some of the information to the patient’s record in the shared portal, but not necessarily the same 

information that was viewed, downloaded, or transmitted by the patient. This makes it easier for 

contributing organizations to collaboratively achieve the 5% target than each organization individually 

attempting to accomplish the same goal separately.  

 

Providers must note that a HIE‐sponsored portal must be certified as an EHR module for purposes of MU 

attestation and that the HIE must be able to verify whether a particular provider actually contributed 

some of the information to the shared portal for a particular patient.    

Reference:  

FAQ7735. Frequently Asked Questions on EHR Incentive Programs. CMS.gov, 

https://questions.cms.gov/faq.php?faqId=7735. 

 

92 | P a g e  

 

S18: Presentations ‐ Clinical Decision Support 

Incorporating Medication Indication into CPOE: What Do We Need to Build? – Gordon Schiff 

 

S18‐1: Physicians have long been urged to place the indication for the medication on the prescription for 

drugs they are ordering.  With paper prescriptions, physician acceptance has been poor, but with near 

universal adoption of electronic ordering (CPOE) there are renewed opportunities to promote utilization 

of this feature. However, there remain numerous challenges in designing and incorporating indications 

into prescribers’ workflow.     

 

Which of the following is not a prerequisite for developing a system to incorporate indications into the 

prescribing process?   

A. Needs to be flexible and not require extra time 

B. Needs to accommodate off‐label prescribing 

C. Requires prescribers to choose a drug first and then add the indication from a pull down list of 

indications  

D. Provides “smart” drug suggestions based on medication and patient characteristics 

E. Makes it easy to put indication on the label for patients, as well as suppress if sensitive conditions  

 

Answer: C. Requires prescribers to choose a drug first and then add the indication from a pull down 

list of indications    

Explanation:  

Ideal goals for an indications‐based prescribing system are that it will be efficient, flexible, well 

integrated into the CPOE/EHR and prescribers’ workflow, provide powerful clinical decision support, and 

support appropriate sharing of indications information with pharmacists and patients. Many design and 

technical challenges exist to creating a system that will intrinsically motivate prescribers to add 

indications into the ordering process. Input solicited from a wide range of clinical and industry 

stakeholders through a series of webinar panels identified important system design considerations to 

include in CPOE systems to best support incorporating indications into the prescribing process.  

To be successful, a system would need to be flexible enough to accommodate the variety of workflow 

practices that prescriber’s use, and to avoid requiring any additional time to complete a prescription 

order (A).  

It is not uncommon for clinicians to prescribe medications for off‐label indications, so accurately 

identifying why a patient is taking a medication would require the ability to select indications that have 

not been approved by the FDA (B).  

 

93 | P a g e  

 

Explicitly identifying off label prescriptions introduces some potential issues with respect to insurance 

reimbursement that will need to be considered in designing an effective system. Ideally, the selection of 

drugs to present to a prescriber for a given indication would be “smart” and take into account such 

variables as: first and second line medications, patient allergies and previous drugs used, treatment vs. 

prevention uses, prescriber favorites, and local customization of drugs of choice (D). It is through the 

presentation of sophisticated drug suggestions that the value of the system to prescribers would be 

enhanced. Studies show that many patients do not understand the reasons they are taking some of their 

medications. This has implications for patient quality care, adherence, and safety. Adding the reason 

why a patient is taking a medication onto the bottle label and on their medication instruction leaflets 

would improve patients’ knowledge about this important component of their care (E).  

Recognizing that there may be some concern about making sensitive conditions more easily viewed, any 

system must also have the ability to elect that an indication will not be displayed on a given medication 

label. Requiring that a prescriber first select a drug and then match it with an indication is not a 

prerequisite for an indications‐based prescribing system (C).  

In fact, a paradigm shift whereby prescribers first enter an indication and are presented with a list of 

drug suggestions has the potential to greatly enhance a prescribers’ appropriate and efficient ordering 

of medications. In addition, mandating that prescribers follow a specific workflow is likely to reduce the 

acceptance rate of new functionality. Variability in how prescribers practice needs to be supported with 

flexible systems to maximize individual clinician efficiency and satisfaction.   

Reference: 

Chainonline.org. Improving HIT Prescribing Safety ‐ Chain Online [Internet]. 2015; Available from: 

http://www.chainonline.org/research‐tools/improving‐hit‐prescribing‐safety/  

 

Dynamic Predictive Analytics to Prevent Chemotherapy‐Induced Nausea and 

Vomiting – Abu Mosa 

S18‐2: Chemotherapy‐induced nausea and vomiting (CINV) is one of the most dreadful and unpleasant 

side‐effects of chemotherapy. Antiemetic treatments are provided before chemotherapy to prevent 

CINV. There are several antiemetic guidelines for the management of CINV. However, they are solely 

based on the emetogenicity of the chemotherapies. Several patient‐related risk factors affect the risk of 

CINV but none of the guidelines considers those factors. As a result, physicians rely on their personal 

experiences for CINV treatment, which leads to inconsistent managements of CINV. As a clinical 

informatician of your hospital, you have been given the task to help the physicians with personalizing 

the CINV treatment recommendations based on patient‐specific risk factors. Which of the following is 

the most appropriate informatics solution?   

A. Identify the list of patient‐specific risk factors by data analysis and provide the list to physicians 

B. Tell physicians to consider the patient's specific risk factors  

C. Develop a prediction model that determines the combined effect of multiple patient‐specific factors for predicting the risk, and integrate the model with the clinical decision support system 

 

94 | P a g e  

 

D. Tell physicians to consult with their experienced colleagues about their experiences on managing CINV   

 

Answer: C. Develop a prediction model that determines the combined effect of multiple patient‐

specific factors for predicting the risk, and integrate the model with the clinical decision support 

system   

Explanation: The goal of the treatment plan is to prevent CINV. The treatment is applied before starting 

chemotherapies. The physicians need to know the patents who are at higher risk of CINV. The risk of 

CINV needs to be predicted based on patient‐specific factors. Physicians already know that they should 

consider the patient‐specific risk factors but this knowledge is not useful for decision making. They can 

also consult with experienced physicians but the recommendation will not be evidence‐based. The list of 

risk factors can be determined by data analysis but knowing only the list is not sufficient for decision 

making. As a clinical informaticist, you can develop a prediction model using the patient‐specific factors 

and integrate the model with the clinical decision support system (CDSS). This solution will be based on 

evidence from data and the physician can use the CDSS to predict the patients who are at higher risk of 

CINV before starting the chemotherapy. 

References: 

1. Haiderali A, Menditto L, Good M, Teitelbaum A, Wegner J. Impact on daily functioning and 

indirect/direct costs associated with chemotherapy‐induced nausea and vomiting (CINV) in a U.S. 

population. Support Care Cancer. 2011;19(6):843‐851. doi:10.1007/s00520‐010‐0915‐9. 

 

2. Cohen L, de Moor CA, Eisenberg P, Ming EE, Hu H. Chemotherapy‐induced nausea and vomiting: 

incidence and impact on patient quality of life at community oncology settings. Support Care Cancer. 

2007;15(5):497‐503. doi:10.1007/s00520‐006‐0173‐z. 

 

Efficacy of Clinical Alerts Designed to Reduce Inappropriate Urinary Cultures in 

Catheterized Patients in the ICU – Mark Parkulo 

S18‐3: A recent study demonstrated a reduction in inappropriate urinary cultures in ICU patients with 

indwelling urinary catheters through the use of clinical decision support.  The study integrated several 

clinical decision support techniques into the process.  Which technique was not utilized in this study? 

A.  A real‐time decision support alert window at the time of ordering 

B.  A real‐time e‐mail message to quality oversight if the order is overridden 

C.  A phone number imbedded in the alert that the provider must call to override the alert  

D.  Educational information and a reference imbedded in the alert 

E.  Ability to cancel the order from the alert window 

 

Answer: C.  A phone number imbedded in the alert that the provider must call to override the alert 

 

95 | P a g e  

 

Explanation: The study utilized a real time decision support window, an email message to quality 

oversight if the message was overridden, educational information including references and the ability to 

cancel the order directly from the alert window.  A "hard stop" requiring the ordering provider to call 

someone to override the alert was not included in the study because of the interference in workflow for 

providers and the requirement to have the phone number constantly manned by someone who could 

approve the override.   

Reference: 

Sittig DF, Teich JM, Osheroff JA, Singh H. Improving Clinical Quality Indicators Through Electronic Health 

Records: It Takes More Than Just a Reminder. Pediatrics. 2009 July; 124(1): 375–377.