Нашла ошибку на сайте, а разработчик не смог её повторить: как правильно описывать баги
Привет! В прошлой статье я рассказывала о своей работе QA-тестировщиком на удалёнке и путешествиях. Сегодня хочу поговорить о самой работе. Иногда находишь ошибку, отправляешь её разработчику, а в ответ получаешь просьбу показать, как именно она возникла. Разберём, почему так происходит и как оформлять баги, чтобы не тратить полдня на переписку.
Ошибку найти — это только половина работы
Со стороны работа тестировщика иногда выглядит довольно просто. Открываешь сайт, нажимаешь кнопки, проверяешь формы и сообщаешь разработчику, если что-то сломалось.
На практике обнаружить ошибку бывает гораздо легче, чем объяснить другому человеку, при каких условиях она появляется.
Особенно когда вся команда работает удалённо.
Представим обычную ситуацию. Тестировщик проверяет интернет-магазин и замечает, что после применения промокода итоговая стоимость заказа рассчитывается неправильно.
В корзине лежат товары на 5000 рублей. Промокод должен давать скидку 10%, но после его применения сумма уменьшается до 4000 рублей.
Ошибка очевидная.
Можно создать задачу с описанием:
При применении промокода неправильно считается скидка.
Только разработчик, открывший такую задачу, вряд ли сразу поймёт, что именно нужно исправить.
Какой промокод использовался? Сколько товаров было в корзине? Какая скидка ожидалась? Есть ли ограничения у акции? В каком окружении обнаружена проблема?
В результате начинается переписка.
Тестировщик отвечает на вопросы, разработчик пытается воспроизвести ситуацию, потом выясняется, что у него другой набор товаров или другое состояние аккаунта.
А ведь часть этих вопросов можно было закрыть ещё при создании задачи.
Как я бы оформила такую ошибку
Начну с самого простого — заголовка.
Название задачи должно позволять понять проблему, даже если человек ещё не открыл описание.
Например:
Корзина: промокод со скидкой 10% уменьшает стоимость заказа на 20%
Уже понятно, где ошибка и какое поведение наблюдается.
Дальше нужно указать условия.
Предположим, что проблема воспроизводится на тестовом сайте, в Chrome, у зарегистрированного пользователя.
Корзина содержит два товара:
- Первый стоит 3000 рублей.
- Второй стоит 2000 рублей.
Общая сумма — 5000 рублей.
Промокод TEST10 должен уменьшать стоимость товаров на 10%. Для этого примера считаем, что промокод применим к обоим товарам, а доставка не включена в сумму.
Ожидаемый результат:
5000 − 500 = 4500 рублей.
Фактический результат:
После применения промокода отображается 4000 рублей.
Теперь шаги воспроизведения.
- Открыть тестовую версию интернет-магазина.
- Авторизоваться под тестовым пользователем.
- Добавить в корзину два указанных товара.
- Перейти на страницу оформления заказа.
- Ввести промокод TEST10.
- Нажать кнопку применения скидки.
- Проверить итоговую стоимость.
В такой задаче разработчику уже гораздо проще разобраться.
Но я бы добавила ещё несколько важных деталей.
Во-первых, идентификаторы товаров. Внешне похожие позиции могут иметь разные настройки скидок.
Во-вторых, информацию о сборке приложения и тестовом окружении.
В-третьих, скриншот результата и, если возможно, сведения о запросе к API.
И обязательно проверила бы, повторяется ли ошибка после обновления страницы и при новой попытке оформления заказа.
Это не гарантирует, что разработчик мгновенно найдёт причину. Зато ему не придётся восстанавливать условия практически с нуля.
Почему у разработчика всё работает нормально
Одна из самых неприятных ситуаций в тестировании — когда проблема появляется только у одного человека.
На моём компьютере ошибка есть, у разработчика — нет.
Иногда кажется, что кто-то из нас явно что-то делает неправильно.
Но причин может быть довольно много.
Например, тестировщик использует другой браузер. Или в системе остались данные предыдущей сессии. Или ошибка связана с конкретным состоянием аккаунта.
Есть и менее очевидные варианты.
Допустим, одна часть команды проверяет приложение на тестовом сервере, а другая уже работает с обновлённой сборкой.
Интерфейс выглядит одинаково, но код отличается.
Или разработчик тестирует скидку на новом аккаунте, а у тестировщика пользователь ранее уже применял похожий промокод.
В зависимости от бизнес-правил результат может различаться.
Поэтому в подобных ситуациях полезно фиксировать:
- Версию приложения или номер сборки.
- Окружение, на котором обнаружена ошибка.
- Браузер и его версию, если это веб-приложение.
- Тип устройства, когда проблема зависит от интерфейса.
- Данные и состояние тестового аккаунта.
- Время возникновения ошибки.
Последний пункт особенно полезен при работе с логами.
Если известна хотя бы примерная минута возникновения проблемы, разработчику проще найти соответствующие события.
Правда, нужно учитывать часовой пояс и формат времени.
Если в баг-репорте указано 15:30, лучше уточнить, по какому времени.
В распределённой команде это совсем не мелочь.
Пример с часовыми поясами
Представим сервис бронирования, где пользователь выбирает дату посещения.
Тестировщик находится в часовом поясе UTC+3, а сервер хранит время в UTC.
Пользователь выбирает посещение на 18 ноября в 00:30 по местному времени.
При корректном преобразовании для UTC+3 это будет 17 ноября, 21:30 UTC.
Если приложение в одном месте работает с местной датой, а в другом использует дату UTC без нужного преобразования, может возникнуть ошибка.
Например, пользователь выбирает 18 ноября, а в подтверждении бронирования появляется 17 ноября.
Подобный дефект легко пропустить при проверке в середине дня.
Поэтому для приложений с датами и временем я бы отдельно проверяла переход через полночь, разные часовые пояса и даты около смены месяца.
Особенно если приложение рассчитано на пользователей из разных стран.
При этом важно не предполагать заранее, что ошибка обязательно в часовом поясе.
Возможно, система работает по установленному бизнес-правилу и специально показывает время конкретного города.
Поэтому перед созданием бага необходимо понять, какое поведение предусмотрено требованиями.
Иногда одного скриншота недостаточно
Скриншот хорошо показывает визуальную проблему.
Например, кнопку, которая перекрывает текст, неправильную цену или форму, выходящую за границы экрана.
Но если ошибка связана с отправкой данных, одного изображения может оказаться мало.
Представим, что пользователь нажимает кнопку оформления заказа, видит бесконечную загрузку, а заказ не появляется в личном кабинете.
Причина может находиться на сервере, в сетевом соединении или в логике интерфейса.
Для первоначальной диагностики полезно открыть инструменты разработчика браузера и посмотреть вкладку Network.
Там можно увидеть, какой запрос отправило приложение, какой статус вернул сервер и сколько времени заняло выполнение.
Например, при оформлении заказа отправляется запрос: POST /api/orders Content-Type: application/json
В тестовой среде тело запроса может выглядеть так: { "items": [ { "productId": 101, "quantity": 2 } ], "promoCode": "TEST10" }
Допустим, сервер отвечает: HTTP/1.1 500 Internal Server Error
Для разработчика это уже дополнительная информация.
Но и здесь есть нюанс.
Сам по себе статус 500 не объясняет причину ошибки. Нужно смотреть логи, идентификатор запроса, серверные исключения и состояние зависимых сервисов.
Если сервер возвращает request ID, его полезно добавить в баг-репорт.
А вот копировать целиком все сетевые запросы без проверки не стоит.
В них могут содержаться токены авторизации, персональные данные, адреса и другая конфиденциальная информация.
Перед передачей логов или экспортированного HAR-файла такие сведения необходимо удалить или скрыть.
Почему тестовые данные иногда важнее подробного описания
Есть ошибки, которые невозможно воспроизвести на произвольном аккаунте.
Например, система неправильно рассчитывает скидку только для пользователей, у которых уже есть определённая история покупок.
Или кнопка оплаты не работает при заказе с несколькими типами доставки.
Если разработчик использует обычный новый аккаунт, он может вообще не увидеть проблему.
Поэтому для сложных сценариев полезно заранее создавать тестовые наборы данных.
Например:
Тестовый пользователь А — новый покупатель без заказов.
Тестовый пользователь Б — покупатель с ранее оформленными заказами.
Тестовый пользователь В — аккаунт с активным бонусным балансом.
Или несколько вариантов корзины: один товар, несколько товаров, разные категории, товары со скидкой и без неё.
Конечно, конкретный набор зависит от продукта.
Но сам подход помогает избежать ситуации, когда каждый сотрудник проверяет приложение на случайных данных.
Отдельное правило — не использовать реальные персональные сведения клиентов там, где достаточно синтетических.
Тестовый аккаунт должен быть безопасным для использования командой, а доступ к нему необходимо организовать по внутренним правилам компании.
Почему не все найденные баги одинаково срочные
Допустим, перед выпуском новой версии приложения тестировщик обнаружил две ошибки.
Первая: на странице настроек профиля немного съехала иконка.
Вторая: после оплаты заказ иногда не сохраняется, хотя платёжный провайдер сообщает об успешной операции.
Обе ситуации являются дефектами.
Но последствия совершенно разные.
С проблемой отображения иконки пользователи, скорее всего, смогут продолжить работу.
А ошибка при оплате способна привести к жалобам покупателей, ручной сверке платежей и финансовым последствиям.
Здесь важно различать severity и priority.
Severity показывает серьёзность дефекта с точки зрения его воздействия на систему.
Priority определяет, насколько срочно команда должна заняться исправлением.
Эти показатели связаны, но не всегда совпадают.
Например, серьёзная ошибка в редко используемой внутренней функции может получить не самый высокий приоритет исправления.
А сравнительно небольшая визуальная ошибка на главной странице во время важной рекламной кампании может потребовать быстрого решения.
Поэтому я бы не выставляла максимальный приоритет каждому найденному дефекту.
Лучше кратко описать последствия, частоту воспроизведения и затронутые пользовательские сценарии.
Окончательный приоритет обычно определяют по договорённостям внутри команды с учётом продукта, рисков и сроков.
Баг исправили, но проверка на этом не заканчивается
Представим, что разработчик исправил расчёт промокода.
Теперь вместо 4000 рублей система правильно показывает 4500.
Можно закрывать задачу?
Не всегда.
Сначала необходимо повторить исходные шаги и убедиться, что дефект действительно устранён в нужной сборке.
Затем желательно проверить несколько связанных ситуаций.
Например, промокод на 10% применяется к одному товару, к нескольким товарам, к корзине с уже сниженной ценой и к заказу, в котором есть товары, исключённые из акции.
Какие из этих сочетаний допустимы, должно быть определено бизнес-правилами магазина.
Ещё стоит проверить, что сумма корректно передаётся в платёжную систему, а в заказе сохраняется тот же итог.
Именно поэтому исправление даже небольшой на первый взгляд ошибки иногда требует проверки нескольких функций.
Но полностью повторять всё тестирование приложения после каждого изменения тоже не всегда разумно.
Объём повторной проверки зависит от того, какой участок кода изменился и насколько критичны затронутые процессы.
Если исправление связано с общей системой скидок, риск шире, чем при корректировке текста на одной кнопке.
Сколько времени теряет команда на непонятных баг-репортах
Возьмём простой расчёт.
Допустим, тестировщик отправил десять задач с недостаточно подробным описанием.
На каждую разработчику требуется в среднем десять дополнительных минут, чтобы уточнить условия и запросить недостающие сведения.
Тестировщик тратит ещё примерно десять минут на ответ и повторную проверку.
Получается двадцать минут дополнительных трудозатрат команды на одну задачу.
Для десяти задач:
10 × 20 = 200 минут.
Это три часа двадцать минут.
Причём расчёт не учитывает ожидание ответов.
В удалённой команде проблема особенно заметна, когда сотрудники работают в разных часовых поясах.
Например, разработчик задаёт уточняющий вопрос в конце своего дня, а тестировщик видит сообщение только следующим утром.
Сама переписка занимает несколько минут, но исправление откладывается значительно дольше.
При этом чрезмерно длинный баг-репорт тоже не всегда хорош.
Если ошибка простая и очевидная, не нужно прикладывать двадцать скриншотов и описывать всю историю проекта.
Главное — дать достаточно информации для воспроизведения и оценки последствий.
Почему я не люблю решать каждую ошибку через созвон
Удалённая работа научила меня ценить письменную коммуникацию.
Созвон действительно помогает, когда проблема сложная, условия воспроизведения постоянно меняются или несколько специалистов должны разобраться в поведении системы одновременно.
Но если для каждой ошибки приходится организовывать встречу, работа быстро превращается в бесконечное обсуждение.
Допустим, разработчик и тестировщик потратили пятнадцать минут на звонок.
Затем ещё десять минут ушло на демонстрацию экрана и поиск нужных данных.
Это уже почти час суммарного рабочего времени двух человек.
Иногда такой созвон полностью оправдан.
Но если проблема воспроизводится по пяти понятным шагам, её проще описать в задаче и приложить необходимые материалы.
И ещё один момент: после устного обсуждения полезно зафиксировать принятое решение письменно.
Иначе через неделю может оказаться, что участники разговора по-разному запомнили ожидаемое поведение приложения.
Особенно это касается ситуаций, когда обнаруженный дефект на самом деле связан с неясными требованиями.
Когда баг оказывается не багом
Представим, что в интернет-магазине промокод не применяется к товару, который уже участвует в распродаже.
Тестировщик считает это ошибкой.
Но разработчик сообщает, что система работает именно так, потому что скидки не должны суммироваться.
Кто прав?
Без требований ответить невозможно.
Если ограничение было согласовано заранее и корректно реализовано, ошибки в коде нет.
Однако остаётся другой вопрос: понимает ли пользователь, почему промокод не применился?
Если интерфейс никак не объясняет причину, покупатель может решить, что сайт сломан.
Здесь уже стоит обсуждать улучшение пользовательского сценария.
Например, выводить понятное сообщение об ограничениях акции.
Для QA это важная часть работы.
Нужно не просто искать отличия между ожидаемым и фактическим результатом, а понимать, откуда взялось само ожидание.
Иногда требуется уточнить требования у аналитика или владельца продукта, прежде чем создавать задачу на исправление.
Что я проверяю перед отправкой ошибки
У меня есть простой принцип: другой человек должен получить достаточно информации, чтобы понять проблему без обязательного объяснения голосом.
Поэтому перед отправкой задачи я бы проверила несколько моментов.
Понятно ли название? По заголовку должно быть ясно, какая функция работает неправильно.
Есть ли воспроизводимые шаги? Разработчику должно быть понятно, как подготовить условия и вызвать ошибку.
Указан ли ожидаемый результат? Иногда фактическое поведение видно на скриншоте, но непонятно, что именно считается правильным.
Достаточно ли технических данных? Окружение, версия приложения, тестовые данные и информация о запросе могут оказаться важнее длинного описания.
Нет ли конфиденциальной информации? Скриншоты, логи и сетевые запросы необходимо проверять перед отправкой.
Понятны ли последствия? Если ошибка мешает оплате или регистрации, это стоит обозначить отдельно.
На мой взгляд, такой подход полезен даже начинающим тестировщикам.
Причём не обязательно сразу знать все инструменты автоматизации или уметь читать сложные серверные логи.
Уже хорошо составленные шаги воспроизведения и понятное описание результата значительно облегчают работу команды.
Что в итоге
В первой статье я рассказывала, что удалённая работа позволяет мне путешествовать и не быть привязанной к одному городу.
Но есть и другая сторона такого формата: коллега не всегда сидит за соседним столом, чтобы можно было просто повернуть ноутбук и показать ему ошибку.
Иногда между нами сотни километров и несколько часов разницы во времени.
Поэтому умение понятно объяснять найденные проблемы оказывается не менее важным, чем умение их обнаруживать.
Хороший баг-репорт не обязательно должен быть длинным. В нём просто должна находиться вся информация, необходимая для воспроизведения дефекта и понимания его последствий.
Мне нравится, что в профессии тестировщика постоянно приходится смотреть на продукт с разных сторон: глазами пользователя, разработчика и бизнеса.
И чем лучше понимаешь эти три позиции, тем проще становится работать с ошибками.
А среди читателей есть разработчики и тестировщики? Интересно, что больше всего раздражает вас в баг-репортах: недостаток информации, неправильные приоритеты или невозможность воспроизвести ошибку?