Метрики в тестировании

Как то было дело, зашел у нас разговор о метриках тестирования. Получилось интересное обсуждение, благо на встрече присутствовал Александр Александров. То что написано ниже немного отличается от того, что мы выписали на доске тогда, но, думаю это не страшно. Анализ то продолжается.

Сразу предупреждаю, что эти метрики нельзя использовать для оценивания конкретных тестировщиков. Это метрики процесса тестирования. Более того, это метрики процесса тестирования, которые должны анализироваться с учетом контекста: уровня процесса конфигурационного управления, уровня процесса разработки требований, сложности программы, расположения ограничения системы и т.д. Если в вашей группе тестирования метрики окажутся “не очень”, то совершенно необязательно, что это проблема процесса тестирования и уж тем более не обязательно, что это проблема конкретных тестировщиков. Вполне вероятно, что корневую причину возвратов с пометкой “не воспроизводится” нужно искать в процессе конфигурационного управления. Так что мерять, меряйте, но поспешных выводов не делайте.

metrtest.PNG
Примечание. Я исхожу из чрезвычайно редко используемой модели “риск-оптимумов”, которая подразумевает, что слишком хорошие показатели должны инициировать аудиторскую проверку, точно так же, как слишком плохие. Более подробно, но тоже очень коротко, описано в моей статье “Различные подходы к риск менеджменту. Краткий экскурс.”  http://www.software-testing.ru/library/around-testing/engineering/208  Так же где-то было видео с семинара на эту тему. Ну, или гуглите. Шутка. Материалов на русском, считайте, что нет.

Понятно, что эти цифры не стоит применять к проектам “for fun / just for lulz” или “угроза жизни”. Понятно, что цифры будут плавать в зависимости от размера проекта. Давайте будем считать, что мои оценки относятся к типичным корпоративным информационным системам, юзкейсов на 500.

PS. Я бы пособирал статистику по фирмам, но как правило, ее или не ведут, или это: “Очень страшный секрет, потому что у нас все плохо”.

Комментариев: 5

  1. Vasya написал:

    У меня 537 багов с 26 августа 2011 по 26 августа 2012. Естественно, что-то отклонили.

  2. SALar написал:

    Ну что ж, здорово. Скорее всего, в процессах тестирования и в смежных есть что улучшить. Не в вашей работе, а в процессах.

  3. Семинар Сергея Мартыненко «Введение в стратегию тестирования» — SPB SQA Group написал:

    […] Цели и метрики тестирования – частично есть в http://blog.shumoos.com/archives/271 […]

  4. Mikhail написал:

    Оооочень странные метрики. Кроме “качества поиска” вообще не понимаю, что показывают остальные… И зачем они.

  5. SALar написал:

    2Mikhail
    Да. Без понимания теории ограничений понять необходимость этих метрик довольно сложно. Теория ограничений противоречит “здравому смыслу” и поначалу сильно сносит мозг.

Оставьте комментарий

Вы должны войти, чтобы оставить свой комментарий.