2.2 Попарное тестирование
Попарное тестирование позволяет уменьшить количество тест-кейсов, которые должны проводить, если у нас большое количество различных параметров и значений.
Попарное тестирование - техника тест-дизайна, метод обнаружения дефектов с использованием комбинационного метода из двух тестовых случаев.
Более простое объяснение: метод комбинаторики, который позволяет комбинацией двух случаев (например, Exel - тестируем Формат текста - берем шрифт и размер, то при этом взаимодействии будет сконцентрировано наибольшее количество дефектов) выявить наибольшее количество дефектов.
Если берется взаимодействие трех случаев, процент концентрации дефектов снижается.
То есть это достаточно точный метод, который позволяет с минимальными усилиями, с минимальным количеством тестовых случаев, провести тестирование.
Нужно протестировать все эти сочетания. Если составлять все тесты, то это получается 96 тестов (то есть нужно перемножить все значения 2*2*2*2*3*2)
Для проведения попарного тестирования (Pairwise testing) существует 2 подхода:
На основании таблички выше, мы должны создать свою для попарного тестирования:
- Первый столбец - это шрифт. На первое место ставим тот параметр, который имеет наибольшее количество значений.
Строки в столбце заполняем по 2 значения каждого параметра. То есть 2 раза Arial (друг под другом), 2 раза Colibri, 2 раза TNR - Остальные параметры должны разместить по мере их убывания.
А дальше просто расставляем чтобы образовались пары (см. таблицу ниже).
В этом случае будет 8 тестов и сможем обнаружить 97% дефектов. А в случае, если проводить каждый тестовый случай - будет 96 тестов и обнаружено 100% дефектов. Разница в 3% компенсируется большой экономией времени.
Для автоматического составления плана Pairewise testing воспользуйся этим инструментом
Попарное тестирование (pairwise testing) - техника тестирования методом черного ящика, при которой тестовые сценарии разрабатываются таким образом, чтобы выполнить тестирование для всех комбинаций параметр-значение
Для формирования пар используется два подхода: ортогональные массивы и алгоритм All Pairs. В практике тестирования вы будете использовать последний, поэтому давайте сконцентрируемся на нем.
Алгоритм All Pairs позволяет генерировать все пары автоматически. Самым популярным инструментом для этого является PICT, но существует еще несколько десятков других решений. Подробнее об использовании PICT в видео-уроке.
Выходные данные полученные этим способом могут отличаться от данных, полученных в результате применения ортогональных массивов. Про ортогональные массивы можно прочитать в пособии Lee Copeland, «A practitioner’s guide to software test design».
Давайте рассмотрим пример применения этого алгоритма с тестированием фильтрации на примере интернет-магазина.
Пользователь может осуществить фильтрацию по следующем параметрам:
- Цвет: красный, белый, черный, серый
- Размер: S, M, L, XL
- Пол: мужской, женский, унисекс
- Доставка: есть, нет
Общее количество всех проверок без применения попарного тестирования: 4*4*3*2 = 96.
Согласитесь, что проводить 96 тестов всех комбинаций времязатратно. Для оптимизации нам пригодится Pairwise.
Согласно этой технике, необходимо протестировать взаимодействие всех пар параметров и их значений, что будет соответствовать практически полному тестовому покрытию, если бы мы тестировали все комбинации.
Для выполнения задания будем использовать ресурс https://pairwise.teremokgames.com, который не требует предварительной установки.
1. Создадим таблицу с параметрами и значениями. Всегда начинаем с параметра, у которого больше всего значений.
2. Для генерации пар необходимо нажать кнопку
3. После нажатия сформируется таблица с необходимыми тестовыми данными. Количество проверок сократится с 96 до 16. Таблицу необходимо использовать для создания чек-листа или тест-кейсов.