sqa days-17. how to assess qa process on the project
TRANSCRIPT
![Page 1: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/1.jpg)
КАК ОЦЕНИТЬ ПРОЦЕСС ТЕСТИРОВАНИЯ НА ПРОЕКТЕ
![Page 2: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/2.jpg)
Андрей ЛадутькоТест-лид, Эксперт ЦКТ7+ лет опытаПроцессы, тест-дизайн, личная эффективностьSQA Days-12,13,15,16 докладчикISTQB Full Advanced Level
http://qastugama.blogspot.com
![Page 3: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/3.jpg)
ПЛАН ДОКЛАДА
Теория
• Аудит 1.0 и 2.0
• Цели аудита
• Модели аудита
• Процесс аудита
Практика
• Примеры запросов
• Примеры анализа
![Page 4: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/4.jpg)
АУДИТ 1.0
Независимая оценка программных продуктов или процессов с целью проверки соблюдения стандартов, руководств, спецификаций и / или процедур, основанных на объективных критериях, в том числе документов, которые определяют:
1. Форму или содержание производимых продуктов
2. Процесс разработки продуктов3. Соответствие стандарту и то, как оно
измеряется
IEEE 1028
![Page 5: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/5.jpg)
АУДИТ 2.0
• Тестирование – как зеркало отражает все проблемы
• Вместо проверки по чек-листам, ищет наиболее эффективное решение конкретной проблемы
•Покрывает весь жизненный цикл процесса, чтобы найти и исправить реальную причину
•Использует факты, дает прозрачность «сверху вниз», не «shift to green»
![Page 6: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/6.jpg)
ЦЕЛЬ АУДИТА 2.0
• Не стандартизация процесса, а нанесение непоправимой пользы
• Выяснить, что болит сильнее
• Определить, что хотим оптимизировать
• Избегать категоричных оценок (разобраться с контекстом, первичная причина может оказаться не главной)
![Page 7: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/7.jpg)
ПОЧЕМУ НЕ ВНУТРЕННИЙ АУДИТ?
Искажение Мало опыта Еще ресурсы!
![Page 8: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/8.jpg)
ПОЧЕМУ ЛЮДИ ОШИБАЮТСЯ?
Врать Заблуждаться Не владеть информацией
![Page 9: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/9.jpg)
МОДЕЛИ АУДИТА
TMMI – Test Maturity Model Integration
![Page 10: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/10.jpg)
МОДЕЛИ АУДИТА
CTP – Critical Test Process
STEP – Systematic Test and Evaluation Process
TPI – Test Process Improvement
SQA Days-16Мария Терехина «Улучшение процесса тестирования: контентные модели»
http://sqadays.com/ru/talk/25603
![Page 11: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/11.jpg)
ТРЕУГОЛЬНИК КАЧЕСТВА
![Page 12: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/12.jpg)
ЧТО ИЗУЧАЕМ ВО ВРЕМЯ АУДИТА
ПРОЦЕССЫ АРТЕФАКТЫ & СТАТИСТИКА
• Тестирование
• Управление проектами
• Управление требованиями
• Разработка
• Управление конфигурациями
• Развертывание сборки
• Требования
• Тест-план
• Тест-кейсы
• Отчеты
• Архитектура и код автотестов
• Метрики и KPI (Ключевые показатели эффективности)
![Page 13: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/13.jpg)
ПРОЦЕССЫ: ИНИЦИАЦИЯ
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
• Понять цель аудита – не запрос, а причину запроса
• Интервью с ключевыми лицами
• Определить планы и сроки аудита
• Запросить артефакты (план тестирования, проектный план, экспорт дефектов, тест-кейсы, отчеты, логи времени, …)
![Page 14: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/14.jpg)
ВАЖНО ЗАРУЧИТЬСЯ ПОДДЕРЖКОЙ
![Page 15: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/15.jpg)
ПРОЦЕССЫ: ПЛАН ВСТРЕЧ
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
• Кого интервьюируем: менеджера проекта, тест-лида, тестировщика (желательно для каждого из подпроектов)
• Агенда:Процесс тестирования от начала до конца
Итерации /фазы тестирования
Рутина – кандидаты на автоматизацию
Регрессия
…
![Page 16: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/16.jpg)
ПРОЦЕССЫ: АНАЛИЗ
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
![Page 17: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/17.jpg)
ПРОЦЕССЫ: АНАЛИЗ - ВАЖНО
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
Instead of studying and learning from every bug, you can save a lot of time by counting and aggregating bug reports.
That’s a good thing in its way, because if you don’t study and learn from every bug, you’ll need all the time you can get to deal with problems that seem to keep happening over and over again.
Michael Bolton, “Very short blog post” №27
![Page 18: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/18.jpg)
ПРОЦЕССЫ: ГИПОТЕЗА
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
![Page 19: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/19.jpg)
ПРОЦЕССЫ: ПОВТОРНЫЕ ВСТРЕЧИ
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
![Page 20: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/20.jpg)
ПРОЦЕССЫ: СНОВА К АНАЛИЗУ
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
![Page 21: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/21.jpg)
ПРОЦЕССЫ: ОТЧЕТ
Инициация
План встреч
Анализ
Гипотеза
Встречи
Отчет
![Page 22: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/22.jpg)
АНАЛИЗИРУЕМ ЗАПРОСЫ
![Page 23: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/23.jpg)
1. ТЕСТИРОВАНИЕ С НУЛЯ
«У НАС ЕСТЬ ПРОЦЕСС, НО НЕТ ТЕСТИРОВАНИЯ»
• Нужно: тест-лид или тест-менеджер, который установит процесс
• Не нужно: аудит
![Page 24: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/24.jpg)
2. НАМ НУЖНА АВТОМАТИЗАЦИЯ
«МЫ НЕ УСПЕВАЕМ ВСЕ ТЕСТИРОВАТЬ ВРУЧНУЮ, ПОЭТОМУ НАМ НУЖНЫ АВТОТЕСТЫ»
ПОНЯТЬ, КАКАЯ АВТОМАТИЗАЦИЯ НУЖНА
ПОСЧИТАТЬ ROI ПЛАНИРУЕМОЙ
АВТОМАТИЗАЦИИ
НАВЕСТИ ПОРЯДОК В РУЧНОМ ТЕСТИРОВАНИИ
![Page 25: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/25.jpg)
3. А У НАС ВСЕ ПО АДЖАЙЛУ (СКРАМУ, КАНБАНУ..)
ЕСТЬ ПРОЦЕСС, ЧТО-ТО БОЛИТ, НО НЕПОНЯТНО ЧТО, ГДЕ И КАК
![Page 26: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/26.jpg)
4. ОЧЕНЬ БОЛЬШАЯ РЕГРЕССИЯ
«У НАС РЕГРЕССИЯ ЗАНИМАЕТ 2 НЕДЕЛИ И КАЖДЫЕ 3 МЕСЯЦА ОНА УДВАИВАЕТСЯ»
• Ввести тестирование основанное на рисках (Risk-Based)
•Исследовать влияние изменений (Impact Analysis)
•Мини-регрессии (если процесс итеративный)
•Оптимизировать тест-кейсы
• Кандидаты на автоматизацию
![Page 27: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/27.jpg)
Анализируем артефакты
![Page 28: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/28.jpg)
ПРИМЕР 1. ПРИОРЕТЫ И СТАТУС
ТАБЛИЦА БАГОВ: PRIORITY VS STATUS
Row Labels Cancelled Verified Resolved Open Grand Total
None 9 1 2 13 25
P0 1 1 2
P1 2 16 12 30
P2 15 24 2 63 104
P3 4 52 1 70 127
P4 3 3
Grand Total 31 93 5 162 291
![Page 29: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/29.jpg)
ПРИМЕР 2. ЛУЧШИЙ ОХОТНИК ЗА ДЕФЕКТАМИ
ТАБЛИЦА БАГОВ: REPORTER
Row Labels Cancelled Verified Resolved Open Grand Total
Алекс 1 45 58 104
Борис 14 1 68 73
Влад 17 1 38 56
Григорий 1 11 15 27
Денис 6 6
Елена 1 4 5
Total 16 74 2 179 271
• Борис работает на проекте «part-time» (20 часов в неделю)
• Григорий - автоматизатор
• Денис– заказчик
• Елена пишет тест-кейсы и не участвует в прогоне тестов
![Page 30: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/30.jpg)
ПРИМЕР 3. БАГИ ЗА НЕДЕЛЮ
ТАБЛИЦА БАГОВ: REPORTER VS PERIOD
Row Labels Антон Сергей Наталья Ольга Grand Total
11/25/2014 - 12/1/2014 3 6 11 20
12/2/2014 - 12/8/2014 4 5 16 25
12/9/2014 - 12/15/2014 11 1 6 18
12/16/2014 - 12/22/2014 8 6 26 28 68
12/23/2014 - 12/29/2014 14 14
1/6/2015 - 1/12/2015 6 9 4 23 42
1/13/2015 - 1/19/2015 4 1 10 16 31
1/20/2015 - 1/26/2015 3 1 4
Grand Total 50 19 53 100 222
![Page 31: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/31.jpg)
ПРИМЕР 4. ПЛАТФОРМЫ
ТАБЛИЦА БАГОВ: CONFIGURATIONS VS PRIORITIES
Row Labels Critical Major Minor Grand Total
Android – Samsung Galaxy S5 15 23 38
iOS – iPad 2 3 26 81 110
iOS – iPhone 5 1 1
iOS – iPhone 5C 4 2 6
iOS – iPhone 5S 1 1
Windows Mobile - Nokia Lumia 1520 101 101
Grand Total 3 45 209 257
![Page 32: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/32.jpg)
ПРИМЕР 5. ОТКЛОНЕННЫЕ БАГИ.
ТАБЛИЦА БАГОВ: CONFIGURATIONS VS PRIORITIES
Reject Reason Count
Already Fixed 4
Duplicate 10
Not Reproducible 8
Testing Error 2
Will not fix 9
Works as Designed 10
Grand Total 43 (from 250)
Reject Ratio = Total Rejected / Total
Reject Ratio = 43 / 250 * 100% = 17.2%
Normal ≤10%
![Page 33: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/33.jpg)
Выводы
![Page 34: SQA Days-17. How to assess QA process on the project](https://reader030.vdocuments.us/reader030/viewer/2022032619/55c153a0bb61eb0a1e8b47a8/html5/thumbnails/34.jpg)
СПАСИБО ЗА ВНИМАНИЕ!ВОПРОСЫ?
ladutko_andrey
sof_minsk
http://qastugama.blogspot.com