Agile Testing, Risk, Uncertainty, and Why It All Works

Художественный перевод/пересказ доклада Элизабет Хендриксон на Agileee 2011 для сообщества Agile.by

Ник Фролов. Epam SystemsNikolai.frolov@gmail.comTwitter: kinokritik

Элизабет Хендриксон основатель консалтинговой компании Quality Tree Software, Inc., ориентированной на помощь командам разработки выпускать стабильные продукты.

Работает в области тестирования с 1984 года

Видео и слайды выступления в оригинале:

http://agileee.org/2011/06/24/agile-testing/

www.qualitytree.com

esh@qualitytree.com

Elisabeth Hendrickson

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Что означает Спекуляция?

Спекулятивное суждение  — отвлечённое рассуждение, которое выводится без обращения к опыту, к фактам

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Что означает Agile?

Из Agile-манифеста команда должна следовать таким принципам

• регулярная поставка ценного (для бизнеса) программного обеспечения (как минимум раз в месяц)…

• команда работает в постоянном ритме

• Команда приветствует изменения требований, обеспечивая заказчикуконкурентное преимущество

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Source: Wikimedia Commons, courtesy of Ray KurzweilSee http://www.kurzweilai.net/the-law-of-accelerating-returns

Increasing Complexity

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Наращивание СпекуляцииС

пекул

яц

ия

РискиРиски

AnalyzeDesign Implement StabilizeСюрпри

з

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Намерения / Планы

Потребности Рынка

Реализация

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Спекуляция

Намерения / Планы

Реализация

Потребности Рынка

?

??

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Agile призван избавить нас от спекуляции

Итерация

Итерация

Итерация

Итерация

Итерация

Сп

екул

яц

ия

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

…в идеале

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

“frAgile”гибучая разработка

Сп

екуял

яц

ия

РискРиск

Итерации…

Стабилизация

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Хорошая новость

Empirical evidence trumps speculation

Every. Single. Time.

(с) Elisabeth Hendrickson

Наличие реальных доказательств всегда побеждает спекуляцию

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Как решить уравнение?

Намерения

Реализация

Потребности Рынка

Вылезайте из офисов!

Steve Blank, автор книги Four Steps to the Epiphany

?

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Явное изучение потребностей

oli.lu

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Как решить уравнение?TDD – Начните с

видением результата в голове. Указывайте

ожидания на примерах. Автоматизируйте

проверку ожиданий. Исследуйте, чтобы

найти риски.Намерения

Реализация

Потребности рынка

?

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

User Story

Явные

ожидания

Неявные ожидания

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

По мере роста приложения, ожидания, которые были верными раньше могут

утрать свою актуальность

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Как решить уравнение?

Намерения

Реализация

Потребности рынка

Демо. Частые релизы. Изучайте проект

вместе с клиентом.

?

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Уменьшайте цикл обратной связи

Задержка обратной связи

Develop

Demo

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Что означает Agile?

Из Agile-манифеста команда должна следовать таким принципам

• регулярная поставка ценного (для бизнеса) программного обеспечения (как минимум раз в месяц)…

• команда работает в постоянном ритме

• Команда приветствует изменения требований, обеспечивая заказчикуконкурентное преимущество

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Намерения

Реализация

Потребности рынка

✔

✔✔

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Тестирование это не задача одного отдела, это обязанность каждого

Это в вашей части корабля

дырка

Это в вашей части корабля

дырка

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Девять ключевых практик в Agile тестировании

TDD ATDDExploratory

Testing

Collective Ownership

Automated Unit Tests

Automated System Tests

Continuous Integration

RehearseDelivery

Automated Deploy

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Идея

Test-First Mindset: Начинайте с результатом в голове

Код

СтратегияКак узнать, что результат достигнут?

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Acceptance-Test Driven Development (ATDD)

Общее понимание того, что мы делаем именно тот продукт про который мы

говорим (с первого раза, хотя бы иногда)

ЧПТ – человеко понятные тесты

ATDD vs BDD vs Speficiation by Example

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Acceptance-Test Driven Development (ATDD)

User Story Workshop

Implementation

Agile-Friendly Test Automation Framework

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Continuous Integration (CI)Непрерывная интеграция

CI – автоматический билд, выполнение

тестов, и отправка результатов

Разработчики практикующие CI регулярно добавляют свои изменения, выполняя перед этим тесты локально

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Коллективное владениеНе только кодом но и всеми

артефактами(Technical assets)

Unit Tests

Production Code

Репозиторий

(Plus All other

technical assets)

Test “Fixture”

Code

Acceptance Tests

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Automated Deploy

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Ошибайтесь Рано, Ошибайтесь быстро

Failing early & fast gives us time

to fix the problems.

Local Unit Tests Secs-Mins

MinsCI Build

Mins-Hrs

Automated Regression

Hrs-Days

Exploration

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Красный билд означает – исправление ошибки прямо сейчас

Если вчерашние ожидания от системы устарели, создается баг. Баг тормозит процесс, и создает

спекуляцию. Чтобы сохранять темп, нужно быстро убирать все найденные баги.

У нас еще один баг, давайте

добавим его в список

И выставьте ему приоритет!

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Exploratory TestingИсследование системы

Simultaneously…

…learning about the software

…designing tests

…executing tests

using feedback from the last test to inform the next

http://en.wikipedia.org/wiki/Session-based_testing

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Done включает - протестированно

Реализовано+ Проверено

+ Изучено== DONE

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

Хорошая новость

Empirical evidence trumps speculation

Every. Single. Time.

(с) Elisabeth Hendrickson

Наличие реальных доказательств всегда побеждает спекуляцию

Copyri

ght

© 2

01

1 E

lisabeth

Hendri

ckso

n,

Qualit

y T

ree S

oft

ware

, In

c.

LEARNTEST

Intentions

Implementation

Actual Need