Сегодня поговорим об одном из вариантов маркетинговых исследований – А/А-тестировании. Разберемся, в чем его польза, а также рассмотрим проблемы, встречающиеся при применении этого метода.
Что такое А/А-тесты
Рассматриваемый нами метод – это вариация А/B-теста. Результаты A/B-тестирования помогают понять, какое решение даст большую конверсию в нужное целевое действие. С его помощью можно сравнивать дизайн лендинга, цвет и расположение кнопки с призывом к действию, форму регистрации, а также оформление email-рассылки или текста объявления на сайте.
Суть данного метода заключается в том, что происходит сравнение двух разных версий страницы: первая показывается одной группе пользователей, а вторая – другой (распределение посетителей между двумя вариантами контента происходит случайным образом). После чего маркетолог оценивает результаты и смотрит, в каком случае больше посетителей перешли по ссылке, зарегистрировались на сайте либо в приложении, подписались на рассылку или заполнили форму обратной связи.
Несмотря на популярность метода A/B-тестирования, достаточно высокий процент результатов этих тестов не подтверждаются на практике. После внесения изменений конверсия может понизиться, из-за чего компания рискует потерять время и деньги.
Для решения данной проблемы и были разработаны A/A-тесты, где оба варианта для сравнения идентичны, и цель их – проверка точности и результата А/B-теста, который после будет запущен в тех же условиях, но с различными вариантами страницы. Когда маркетолог видит, что происходит при сравнении одинаковых вариантов, он может более адекватно оценивать различия при сравнении двух разных версий.
Поскольку оба варианта, участвующие в тестировании, идентичны, предполагается, что серьезных различий в результатах эксперимента наблюдаться не может. Разница между показателями конверсии на обеих страницах не должна выходить за пределы статистической погрешности. Если по результатам проведения A/A-тестирования выяснилось, что один вариант лучше другого, таким результатам доверять нельзя. Стоит проверить настройки сервиса для проведения теста и однородность выборки, возможно, аудитория распределилась между страницами неравномерно. Для каждой вариации структура аудитории по полу, устройствам и географии должна быть приблизительно одинаковой.
Если A/A-тест не выявил победителя, и конверсия двух страниц совпадает, можно запускать A/B-тест. Таким образом, можно сказать, что эти типы тестов дополняют друг друга.
Зачем нужно проводить А/А-тест
При помощи этого метода анализа можно проверить:
- Что платформа для тестирования работает правильно. В случае, если сервис работает некорректно, A/A-тест покажет победителя. То же самое произойдет при неверно заданных настройках.
- Также такой эксперимент позволяет определить базовый уровень конверсии. При помощи A/A-тестирования можно выявить интервал, в пределах которого измерения конверсии могут считаться случайными, не связанными с наличием изменений на странице.
- Кроме того, A/A-тест дает возможность оценить минимальный объем выборки, а также время проведения тестирования для страницы. Если разница между показателями конверсии велика, возможно, стоит подождать еще несколько дней и накопить больше данных. Если показатели сравняются, значит, столько же времени потребуется для проведения и A/B-тестирования.
Как провести A/A-тест
Рассмотрим этапы A/A-тестирования:
- Для начала нужно выбрать платформу для проведения эксперимента – это должен быть тот же сервис, в котором вы собираетесь запускать A/B-тест. Новичкам проще всего использовать бесплатный и легко настраиваемый инструмент Google Оптимизация, который интегрируется с Google Аналитикой.
- На втором этапе нужно заняться настройкой теста и указать для сравнения одну и ту же страницу.
- На третьем этапе происходит отслеживание результатов эксперимента. Вас не должно беспокоить, что вначале данные могут существенно отличаться. Показатели начнут выравниваться по мере роста количества участников тестирования.
- Не стоит торопиться с завершением теста – чем больше времени проводится эксперимент, тем точнее будет результат.
- Если по результатам A/A-теста разница между вариантами не видна или минимальна, можете с уверенностью запускать A/B-тестирование, так как завершенный эксперимент показал, что вы сможете полагаться на его результаты.
В чем минусы метода А/А-теста
Данная методика не лишена недостатков:
- На подобный эксперимент тратится много времени. Чтобы добиться необходимой точности, при условии хорошего трафика на A/A-тестирование требуется не меньше месяца.
- На старте проекта такой тест практически бесполезен. Чтобы сделать сайт более понятным для посетителей, лучше соберите обратную связь от целевой аудитории.
- К сожалению, A/A-тест не может гарантировать результат. При его проведении не исключено возникновение проблем, которые негативно скажутся на точности эксперимента.
Заключение
Нельзя однозначно сказать, перевешивают ли выгоды от проведения A/A-тестирования его недостатки. В любом случае, его не стоит запускать слишком часто: например, имеет смысл применить A/A-тест перед использованием нового сервиса для А/B-эксперимента.
Следует отметить, что для подтверждения правдивости результатов А/Б-теста можно использовать потенциально менее затратный вариант – A/A/B-тестирование. Если при проведении A/A-теста конкурируют две одинаковые страницы, то вариант A/A/B-теста подразумевает, что к ним добавляется одна дополнительная вариация. То есть в эксперименте участвуют сразу три варианта страницы: оригинал, еще один оригинал и страница, содержащая изменения. Такой компромиссный метод позволяет сэкономить время.
Комментарии