Department of EnergyProject Management Workshop

2016

“Enhancing Project Management”

One Project Control Focus Area: Improving Earned Value Management 

System (EVMS) and Project Management Integration

Paul BoscoDirector, Project Management

Oversight and Assessments

• Managing budget vs. actual• Monitoring schedule and critical path• Tracking milestones vs. schedule and cost• Walking the project – routinely• Assessing management reserve and contingency burn rates

• Earned Value Management System (EVMS)• And more…

2

Project Controls:  What Are They?

3

*EIA‐748C – 32 EVMS GuidelinesEIA‐748C

* EIA = Electronics Industries Alliance

4

EVMS Basics:  Some Context

$

Time

Actual Cost (AC)(ACWP)

EarnedValue (EV) – BCWP

Plan (Budget – (PV))(BCWS)

CBBContractor MR (Management Reserve)Contractor Fee

DOE Other Direct Project CostsDOE Cost Contingency TPC

BAC(Budget at

Completion)

Time* Now

CCD(Contractor Completion Date)

CVSV

PMB: Performance Measurement 

Baseline(Schedule Variance)

(Cost Variance)* IDEAL:

EVCPI = ‐‐‐‐‐‐ = 1.0

ACEV

SPI = ‐‐‐‐‐‐ = 1.0PV

EAC:  Est. atCompletion

The GOAL – Our GOAL• A common understanding – common goal• Timely, accurate, reliable and consistent project data/information to enable well informed decisions:– Data reflects project/field reality (CPI, SPI, etc.)– Provide reliable Estimates at Completion (EAC)

• It’s a project management tool – and a reporting tool• Reviews and surveillance are consistent and not burdensome

• EVMS subject matter experts are at the sites…and HQ• EVMS adds value:  benefits out weigh the costs

5

EVMS:  My Perspective

6

EVMS Data:  Set of Ten Active, Post CD‐2 Projects – Pick the “Green” Projects

Project SPI* CPI*Percent

CompleteEstimate at Completion

1 1.00 1.01 75.1%

2 1.00 1.01 77.6%

3 0.95 1.07 86.5%

4 0.98 1.01 94.4%

5 0.99 1.00 67.0%

6 0.96 0.96 54.8%

7 0.97 1.00 31.4%

8 1.00 0.97 94.0%

9 1.00 0.95 99.3%

10 0.96 1.04 29.4%* Normal “Acceptable Range” – 0.95 to 1.05

7

EVMS Data for Same Projects:Did you get it right?

Proj

ect

SPI CPI

PercentComplete

Budget*At

Completion

Estimate*At

Completion

PM Assess-ment

1 1.00 1.01 75.1% $ 1,879,712 $ 1,827,799 Green

2 1.00 1.01 77.6% $ 11,407,297 $ 11,337,506 Red

3 0.95 1.07 86.5% $ 1,996,747 $ 1,928,897 Red

4 0.98 1.01 94.4% $ 102,113 $ 104,393 Red

5 0.99 1.00 67.0% $ 6,534,120 $ 6,742,735 Red

6 0.96 0.96 54.8% $ 75,314 $ 85,650 Green

7 0.97 1.00 31.4% $ 63,532 $ 63,532 Green

8 1.00 0.97 94.0% $ 321,495 $ 329,811 Green

9 1.00 0.95 99.3% $ 89,188 $ 93,898 Yellow

10 0.96 1.04 29.4% $ 136,870 $ 136,940 Green

* Note:  Budget and EAC are in thousands.

The Survey Said…Top 10 Barriers for Successful EVMS (Combined)

by Weighted Average of Rankings 1 to 10

1. Conflicting Attitudes

2. Conflicting Interpretations of EIA‐748 Between Stakeholders

3. Funding Changes

4. Overly Optimistic Budget and/or Schedule Targets

5. Unclear Policies

6. Volatility of Technical Products or Services

7. Inability of Cost‐Type Subcontractors to Adhere to EVMS

8. Inconsistent Contractual Requirements

9. Lack of Credible FFP SubKtr Schedule / Status  

10. Unclear Reporting Requirements8

• #1 – The largest issues stem from getting different direction from local office, OAPM, and other sites.

• #2 – It is unclear who at DOE HQ ever looks at Contractor data.  No comments or concerns have ever been provided regarding EVMS performance data from the DOE HQ.

• #3 – Failure of DOE and Contractor Management to understand and embrace the use of EVMS as a tool to successfully manage projects versus viewing it as just a reporting vehicle that eats up a lot of resources.

9

Survey Quotes

• #4 – A culture in which reporting any negative performance data brings a great deal of attention and over‐reaction such that there is fear of reporting any negative information even if there is a clear recovery plan that can be implemented.

• #5 – Remove the SPI/CPI incentives from the contracts ASAP.  This incentivized metric drives the elimination of variance through change control and the use of management reserve.  The objective should be to report a SPI/CPI that reflects the actual physical project progress/ performance.

• #6 – FPDs are evaluated on current performance metrics rather than on accurate performance reporting (or performance at the end of project), thereby perpetuating inflated performance reporting until it is too late to do anything about it.

10

Survey Quotes

Houston – We have a problem!

Primary Finding:

Lack of Consistency across the boardResult:  Lack of project management integration

Prevailing Attitude:

EVMS is ineffective:  Not considered a serious or effective project management tool

11

The Survey Said…

• Some proposals to improve EVMS & Consistency:1. Certification Review Board (CRB) certifies: a) Project 

Controls SMEs*; and b) Earned Value Management Systems (EVMS)

2. CRB builds/directs review team:  Comprised of PM, Program, Site Reps, Energy Facility Contractors Group (EFCOG) and support contractors – build knowledge management and reduce cost

3. Certify major acquisitions (>$100M):  Contractors ensure EVMS compliance on non‐major acquisitions:  focus on the big projects…or, use alternate project control methods, approved by PMSO

12

Transformational Change Required

* SME = Subject Matter Expert

• Some proposals to improve EVMS & Consistency:4. Hold annual Project Controls Workshop:  Enhance 

Fed/Contractor communication5. Enhance EVMS tools:  Reduce oversight burden6. Establish consistent documents/procedures:  

DOE’s Earned Value Management System Interpretation Handbook (EVMSIH), as on proposal

13

Transformational Change Required

• EVMS Body of Knowledge: 908 pages1. DoD EVMS Interpretation Guide – 882. NDIA Intent Guide – 593. NDIA Planning & Scheduling Excellence Guide (PASEG) –

2124. GAO Cost Estimating and Assessment Guide – 440 (EV 

Chapters ~100 pages)5. GAO Schedule Guide – 1726. DCMA EVM Implementation Guide (EVMIG) – 1067. DCMA Interpretive Guide (DIG) – 1018. Bowman Interpretive Guide – 70

• EVMS Lite:  246 pages1. DOE EVMS Interpretation Handbook* – 246

14

“EVMS Lite”:  EVMSIH*

15

EVMS Interpretation Handbook

• Analytic tools; and• UN‐CEFACT (United Nations Center for Trade Facilitation and Electronic Business)

16

EVMS:  Make It Easier

• Who are the Fed EVMS SMEs*?• Expansion of Project Management Career Development Program (PMCDP) Certification Review Board (CRB) duties to include:– Training and certification of Project Controls personnel– Setting expectations for Federal project controls staff– Establishing continuous learning and EVMS review requirements

– Reviews led by PM, or NNSA, or other certified program project control SMEs

17

Professionalize Federal Project Controls Staff – Work‐in‐Progress

* SME = Subject Matter Expert

• Earned value‐related classes: (and more…)– Earned Value Management Systems (24/7) – Level I– Cost and Schedule Estimation and Analysis – Level II– Advanced Earned Value Mgmt Techniques – Level III

• 35 web‐enabled snippets covering a range of EV topics– Collection of training in bite‐sized parts providing information on various EV‐related topics

– Presented in a Computer‐Based Training (CBT) environment

– Website:  http://www.energy.gov/projectmanagement/evms‐training‐snippets

18

Enhanced Earned Value (EV) Training and EVMS Snippets

19

Earned Value (EV) Snippet Library

1.0 DOE Reviews: (8 ea.)

• Order 413.3B EVM Reqts• EVMS Review Approach • EVMS Stage 1 Surveillance • EVMS Stage 2 Surveillance • EVMS Stage 3 Surveillance • EVMS Review for Cause • EVMS Certification• Common EVMS Findings

2.0 EV Reporting: (4 ea.)

• CPR/IPMR Purpose & Uses• CPR/IPMR FPD Quick Check• IPMR Data Item Description• CFSR Overview & Reconciliation 

with IPMR/CPR

3.0 Schedules: (4 ea.)• IMS Initial Baseline Review• IMS Monthly Review• Scheduled Health Metrics • Schedule Guidance & Resources

20

Earned Value (EV) Snippet Library

4.0 Adv. Topics: (10 ea.)

• OTB/OTS Implementation• IBR Process• MR vs. Contingency /• Budget vs. Funds• Undistributed Budget• Authorized Unpriced Work • Baseline Control Methods• FFP Subcontract & Prime EVM • CAM Roles and Surveillance• High‐Level EVM expectations

5.0 PARS Anal. Reports: (7 ea.)

• EVMS Reports Overview• Data Validity Reports• Schedule Health Assessment• Variance Reports• Trend Reports• EAC Reasonableness and 

Independent EAC• PM Monthly Report

6.0 Predictive Analysis: (2 ea.)• Predictive Analysis• Applied Predictive Analysis

• Let’s use EVMS where it makes sense• Let’s make it more efficient and more useful• Let’s be consistent with its use and in reviews• Let’s do it together

– A shout‐out to EFCOG –

21

EVMS:  Is it Easy or Hard?

22

My Presentation

23

Questions?