Метрика эффективности разработки

с точки зрения ценности результата

для бизнеса

Сергей АбрамовDeputy Director Quality Control, Kaspersky Lab

Илья КузнецовDeputy Director Engineering, Kaspersky Lab

Юрий СеменовHead of Outsourcing Delivery, Kaspersky Lab

PAGE 2 |

Содержание

Какая эффективность понятна бизнесу?Какая эффективность понятна бизнесу?

Как посчитать эффективность разработки?Как посчитать эффективность разработки?

Как применить эти метрики?Как применить эти метрики?

1 2 3

Какая эффективность понятна бизнесу?

1 2 3PAGE 4 |

Интересны ли заказчику внутренние метрики эффективности?

Максимальная

загрузка

Анализ Дизайн Разработка Тестирование

Не понятна ценность текущего результата

и сколько он стоил

Метрики не отражают эффективность производственной цепочки в целом

Метрики мотивируют на артефакты на уровне роли, а не полезный результат

1 2 3PAGE 5 |

Какая эффективность важна бизнесу?

Как быстро? Какова стоимость?

“Цель бизнеса – прибыль” Э. Голдратт (с) 1984

Достаточно найти и устранить ограничение только самого узкого звена

Скорость системы = скорости самого узкого звена

Уменьшать незавершенные работы в системе (Work-in-progress = WIP)

Лишний WIP – увеличивает кол-во устаревающего «результата» (waist ↑)

– замедляет обратную связь к требованиям (rework ↑)

– замедляет общую скорость выдачи ценности (time2market ↓)

Как это применить в Software Development???

1 2 3PAGE 6 |

Эффективность в терминах, понятных бизнесу

Accepted – затраты на принятый результат

Deferred – затраты на отвергнутый или ненужный заказчику результат

WIP – затраты, которые еще не принесли результата

1. Эффективность (КПД) – доля полезных затрат (Accepted%) от всех затрат по отношению к ценности полученного результата

2. LeadTime – время получения «фичи», «продукта» из бизнес-требования

Деление затрат

Создание ценности

1 2 3

Как посчитать эффективность разработки?

100 km/h, 18.5 L/100km

160 km/h, 5.1 L/100km

PAGE 8 | 1 2 3

Определить ценность результата (business value) достаточно просто!BRS Priority Date

Server protection High(1) 15.08.2011

3-rd party integration

Deferred 15.08.2011

Backup Medium(2) 31.12.2011

Logging Minor(3) 31.12.2011

User Interface High(1) 15.08.2011

0

20

40

60

80

100

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33

План business-value

Cumulative Plan (% Accepted Value)

Номер итерации проекта Beta Release

Польза (business-value) –экспертная оценка ценности законченного высокоуровневого функционала.

BRS Priority Date Value

Server protection High(1) 15.08.2011 40%

3-rd party integration

Deferred 15.08.2011 0%

Backup Medium(2) 31.12.2011 20%

Logging Minor(3) 31.12.2011 10%

User Interface High(1) 15.08.2011 30%

Grand Total 100%

PAGE 9 | 1 2 3

0%

5%

10%

15%

20%

0

20

40

60

80

100

120

140

160

180

5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

Списания, ч-часы Business Value

Затраты WIP, Accepted и Deferred считаются по списаниям

Iter # Functionality Work Name Effort, h

… … … …

17 Server Protection Installation 87

17 Server Protection Uninstall 16

17 Server Protection Update 45

17 Backup Создание схемы бэкапа 33

17 Backup Укладка объектов в бэкап 77

17 Server Protection On-Demand scan 46

18 Server Protection On-Demand scan - cont. 126,5

18 Backup Local Backup 26

18 Backup Centralized Backup 24,5

18 Server Protection Action Pane - OAS, ODS, BackUp 3,5

18 3rd Party Integration Use Case 13 Test Suite 57

… … … …

В отчете по списаниям - ссылки на высокоуровневую «фичу»

Получаем затраты на данный высокоуровневую «фичу» в итерации

По результатам «приемки» распределяем затраты в категории Accepted, Deferred, WIP

Списания на фичу “Backup”

Те же списания, в «накопительном» виде

Прототип не был принят

Фичу приняли

0

100

200

300

400

500

600

700

5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

Deferred WIP Accepted

0

100

200

300

400

500

600

700

5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

Deferred WIP Accepted

0

100

200

300

400

500

600

700

5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

Deferred WIP Accepted

PAGE 10 | 1 2 3

Результативность можно визуализировать

0

20

40

60

80

100

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

План и факт business-value

Cumulative Plan (% Accepted Value) Cumulative Fact (% Accepted Value)

Beta Release

0

500

1000

1500

2000

2500

3000

3500

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Cumulative Deferred, FTE*D Cumulative Accepted, FTE*D WIP, FTE*D

Cumulative Workflow Diagram

LeadTime = 4,5 мес

Момент замера эффективности

PAGE 11 | 1 2 3

И наконец – метрики эффективности

Accepted79%

WIP10%

Deferred11%

КПД –доля полезных затрат

Development Efficiency to Iter# 31

Efficiency 79%

Business Value 88%

Average LeadTime, мес 4,50

Effort Distribution Man-Days USD, Thousands

Efforts in

Operational Expence 2814 703

WIP of previous period 0 0

Total 2814 703

Efforts out

Accepted 2208 552

WIP 288 72

Deferred 318 80

Total 2814 703

1 2 3

Как применить эти метрики?

PAGE 13 | 1 2 3

0

20

40

60

80

100

1 2 3 4 5 6 7 8 9 10 11 12

FE.011 New Feature 2

FE.010 New Feature 1

FE.009 User Interface

FE.008 New Platform Support

FE.007 Notifications

FE.006 Dashboard

FE.005 Logging

FE.004 BackUp

FE.003 Reporting

FE.002 Content filtering

FE.001 Server Protection

Как влияют изменения на результат?

0

1000

2000

3000

4000

5000

6000

1 2 3 4 5 6 7 8 9 10 11 12

WIP, FTE

Cumulative Accepted, FTE

Cumulative Deferred, FTEВырос Deferred

Увеличился темп роста WIP

Накопительные затраты на проект

Изменение Business Value

Bu

sin

ess

Va

lue

Pla

n

Product Manager отменил фичу на относительно раннем этапе FE.008 (BV -5)

Изначальный план Business Value

Product Manager добавил новую фичуна раннем этапеFE.010 (BV +10)

Увеличился темп роста WIP

Вырос Deferred

Product Managerубрал одну фичу FE.005 (BV -12) и

одну добавил FE.011 (BV +12)

Вырос Deferred

Product Managerубрал одну фичу на

позднем этапе FE.003 (BV -10

PAGE 14 | 1 2 3

Accepted; 18%

WIP; 66%

Deferred; 18%

Accepted; 82%

WIP; 9%

Deferred; 9%

0

1000

2000

3000

4000

1 2 3 4 5 6 7 8 9 10 11 12

Проект с периодической приемкой

Cumulative Deferred, FTE Cumulative Accepted, FTE WIP, FTE

Влияние объема незаконченной работы на риски проекта и мотивацию команды

0

1000

2000

3000

4000

1 2 3 4 5 6 7 8 9 10 11 12

Проект с приемкой в конце

Cumulative Deferred, FTE Cumulative Accepted, FTE WIP, FTE

Типичный LeadTime Типичный LeadTime

Что если…

• выясняется, что хотелось немного не то?

• у рынка поменялись требования?

• часть ресурсов надо перебросить?

• бизнес быстрее получает результат

• Меньше рисков с изменениями

• Меньше неполезных работ, больше полезного рез-та

PAGE 15 | 1 2 3

Анализ Архитектура Дизайн Разработка Тестирование

Эффективно ли используются различные роли?

0%20%40%60%80%

100%

аналитики и архитекторы

взяли на себя большинство рисков,

и на ранней стадии процесса отсеяли

неполезные работы

0%

20%

40%

60%

80%

100%

Deferred

WIP

Accepted

Большое количество Deferred

для всех ролей

PAGE 16 | 1 2 3

0

500

1000

1500

2000

2500

3000

3500

4000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Project Manager WIP, FTE

System Analyst WIP, FTE

Designer WIP, FTE

Architect WIP, FTE

Developer WIP, FTE

Doc-Loc WIP, FTE

Tester WIP, FTE

Accepted, FTE

Deferred, FTE

Справляются ли участники проекта с поступающими задачами?

Разработчики берут работ больше, чем выдают, что снижает скорость

выдачи общего результата.

Количество работ WIP

в единицу времени растет

Команда спокойно согласно плану подходит к релизу

Количество работ WIP

в единицу времени стабильно

Accepted

1 2 3PAGE 17 |

При высоком Deferred необходим анализ причин

Accepted28%

WIP43% Deferred

29%

Оправдан ли Deferred?• product prototyping

• поздние изменения окупятся дополнительной долей рынка…

Или не оправдан• частая смена приоритетов

• плохая коммуникация требований…

1 2 3PAGE 18 |

Чем полезны предложенные метрики?

Бизнес

Менеджеры проектов

Функциональные подразделения

Эффективность = КПД совместной работы

Контроль полезности результата и затрат

Отслеживание влияния управленческих активностейПредотвращение затрат

критичных ролей на неполезную деятельность

Улучшения деятельности,

дающие результат

1 2 3PAGE 19 |PAGE 19 |

1. Видите ли вы возможности применить данный подход?

2. Как вы измеряете эффективность?

3. ККК (Конкретная конструктивная критика)

1. Видите ли вы возможности применить данный подход?

2. Как вы измеряете эффективность?

3. ККК (Конкретная конструктивная критика)

Илья Кузнецов www.linkedin.com/in/IliaKuznetsov

Сергей Абрамов www.linkedin.com/in/SAbramov

Юрий Семёнов www.linkedin.com/pub/YSemenov

Илья Кузнецов www.linkedin.com/in/IliaKuznetsov

Сергей Абрамов www.linkedin.com/in/SAbramov

Юрий Семёнов www.linkedin.com/pub/YSemenov

Дискуссия