Повторяющиеся тесты
Что такое повторяющиеся тесты и как рассматриваются отчеты об ошибках в таких тестах?
Если вы являетесь активным тестировщиком на test IO, вы, вероятно, получали приглашения на тестирование одного и того же продукта клиента каждую неделю или даже каждый день.
Почему у нас проводятся подобные повторяющиеся тесты? Все просто - клиенты testIO имеют возможность планировать тестирование так часто, как они хотели бы, чтобы их продукт тестировался. Это означает, что некоторые из их тестов проводятся ежедневно или еженедельно, если клиентам это необходимо. Это также означает, что у Вас, скорее всего, никогда не закончится проект, в котором Вы сможете принять участие!
Несмотря на то, что повторяющиеся или запланированные тесты, как правило, имеют похожие инструкции, требования к устройству и т.д., настоятельно рекомендуется всегда внимательно читать инструкции по тестированию для возможных обновлений. Так как продукты в периодических тестах регулярно тестируются тестовым сообществом, существует большая вероятность того, что такие тесты будут иметь более длинный, чем обычно, список Известных ошибок, который вам придётся изучить перед отправкой сообщения об ошибке. Однако, это не означает, что в таких тестах нет ошибок - такие сайты/приложения обычно регулярно обновляются, что создает место для появления новых багов. Более того, привнесение свежего взгляда также поможет вам найти баги, которые были пропущены другими тестировщиками в предыдущих тестах.
Повторяющиеся баги в повторяющихся тестах В повторяющихся тестах вас просят тестировать один и тот же продукт снова и снова, и возможно, что одна и та же ошибка будет обнаружена в последующих тестах.
В каких случаях вы можете повторить ошибку из предыдущего теста?
- Первоначальная ошибка была принята клиентом в предыдущем тесте, но не была добавлена в список Известных ошибок.
- Отчёт был отклонён как известная ошибка, но не был добавлен в список Известных ошибок.
❌ В следующих случаях повторная ошибка будет отклонена руководителем группы:
- Первоначальное сообщение об ошибке было отклонено клиентом как "не относящееся к делу".
- Первоначальное сообщение об ошибке было отклонено CSM за “not relevant”.
Оригинальное сообщение об ошибке было отклонено клиентом за device not relevant”. - Первоначальное сообщение об ошибке было отклонено клиентом за то, что“only occurs in the testing environment”.
- Первоначальное сообщение об ошибке было отклонено за “behaviour/design is intentional” (not a bug).
В следующих случаях руководитель группы будет принимать решение в каждом конкретном случае, так как это зависит от клиента и тестовой установки:
- Первоначальное сообщение об ошибке было отклонено клиентом за“cannot reproduce”.
- Первоначальное сообщение об ошибке было отклонено, поскольку “test instructions were not followed”.
Как обрабатываются повторные сообщения об ошибках? Поскольку повторяющиеся ошибки в повторяющихся тестах не являются результатом творческого тестирования, мы рассматриваем их как форму воспроизведения. Такие ошибки менее ценны для наших клиентов, которые уже неоднократно получали информацию об этих ошибках в прошлом. Поэтому выплата за повторяющиеся ошибки снижается до 30% от первоначальной выплаты за ошибку.
Пожалуйста, обратите внимание, что сообщение об ошибке не обязательно должно быть абсолютной копией, чтобы его можно было классифицировать как повторяющуюся, при условии, что суть ошибки одна и та же.
Если ваше сообщение об ошибке будет помечено как повторное, вы будете уведомлены об этом следующим сообщением (только если вы находитесь в сети):
