Метрики в тестировании
Как то было дело, зашел у нас разговор о метриках тестирования. Получилось интересное обсуждение, благо на встрече присутствовал Александр Александров. То что написано ниже немного отличается от того, что мы выписали на доске тогда, но, думаю это не страшно. Анализ то продолжается.
Сразу предупреждаю, что эти метрики нельзя использовать для оценивания конкретных тестировщиков. Это метрики процесса тестирования. Более того, это метрики процесса тестирования, которые должны анализироваться с учетом контекста: уровня процесса конфигурационного управления, уровня процесса разработки требований, сложности программы, расположения ограничения системы и т.д. Если в вашей группе тестирования метрики окажутся “не очень”, то совершенно необязательно, что это проблема процесса тестирования и уж тем более не обязательно, что это проблема конкретных тестировщиков. Вполне вероятно, что корневую причину возвратов с пометкой “не воспроизводится” нужно искать в процессе конфигурационного управления. Так что мерять, меряйте, но поспешных выводов не делайте.
Примечание. Я исхожу из чрезвычайно редко используемой модели “риск-оптимумов”, которая подразумевает, что слишком хорошие показатели должны инициировать аудиторскую проверку, точно так же, как слишком плохие. Более подробно, но тоже очень коротко, описано в моей статье “Различные подходы к риск менеджменту. Краткий экскурс.” http://www.software-testing.ru/library/around-testing/engineering/208 Так же где-то было видео с семинара на эту тему. Ну, или гуглите. Шутка. Материалов на русском, считайте, что нет.
Понятно, что эти цифры не стоит применять к проектам “for fun / just for lulz” или “угроза жизни”. Понятно, что цифры будут плавать в зависимости от размера проекта. Давайте будем считать, что мои оценки относятся к типичным корпоративным информационным системам, юзкейсов на 500.
PS. Я бы пособирал статистику по фирмам, но как правило, ее или не ведут, или это: “Очень страшный секрет, потому что у нас все плохо”.
26 Август 2012 в 13:44
У меня 537 багов с 26 августа 2011 по 26 августа 2012. Естественно, что-то отклонили.
27 Август 2012 в 10:32
Ну что ж, здорово. Скорее всего, в процессах тестирования и в смежных есть что улучшить. Не в вашей работе, а в процессах.
27 Июнь 2016 в 16:20
[…] Цели и метрики тестирования – частично есть в http://blog.shumoos.com/archives/271 […]
28 Июнь 2016 в 13:34
Оооочень странные метрики. Кроме “качества поиска” вообще не понимаю, что показывают остальные… И зачем они.
28 Июнь 2016 в 18:01
2Mikhail
Да. Без понимания теории ограничений понять необходимость этих метрик довольно сложно. Теория ограничений противоречит “здравому смыслу” и поначалу сильно сносит мозг.