Чтобы оценить эффективность веб-страниц, понять, какой заголовок лучше зацепит клиента, где разместить форму подписки или какой СТА повысит конверсию, маркетологи прибегают к тестированию. Для проверки простых гипотез отлично подходят тесты A/B и A/B/n, но, если нужно протестировать много разных вариантов, прибегают к мультивариантному тестированию (MVT). В этом материале разберемся, зачем такой вид проверки гипотез нужен бизнесу, в чем его преимущества и недостатки и как его проводить.
Что такое MVT-тест и для чего он нужен
Мультивариантное тестирование сайта представляет собой более сложную версию сплит-теста. А/В-тестирование сайта проводится, если нужно сравнить два варианта практически одинакового контента, но с небольшими отличиями, к примеру, у одного и того же баннера меняется цвет кнопки CTA. Если нужно проверить три или более вариаций, используют A/B/n-тестирование.
К MVT-тестам прибегают, если требуется проанализировать, насколько эффективно работают комбинации элементов на веб-странице, то есть в тех случаях, когда тестируемые элементы – это не отдельные обособленные друг от друга части контента, а их совокупности.
Мультивариантное тестирование может запускаться на внушительное число версий, но с незначительными различиями. Например, при оценке эффективности кнопки CTA на баннере вы можете разместить на кнопке разный текст: «Заказать» либо «Купить». Также можно изменить начертание шрифта – выбрать обычное или полужирное. Кроме того, вы можете изменить цвет кнопки и т.д. Проверить такое количество вариантов сразу можно при помощи MVT-теста.
При этом вы перебираете комбинации элементов, однако дизайн страницы остается неизменным. Для тестирования дизайна целиком следует применять A/B- или A/B/n-тесты. Мультивариативное тестирование помогает лишь улучшать необходимые элементы, поэтому обычно используется не в качестве самостоятельного инструмента, а как дополнение к сплит-тестам.
Посредством мультивариантного тестирования можно понять, какие элементы сайта играют наиболее значимую роль и мотивируют пользователя на совершение целевых действий. A/B-тест незаменим на первичном этапе тестирования сайта, а на втором этапе тестирования для создания корректировок, которые имеют не меньшее значение для улучшения конверсии, более эффективным будет мультивариантный анализ. MVT-тест поможет определить, какие цвета и шрифты являются оптимальными, позволит повысить эффективность заголовков и разобраться с другими элементами.
Существует два метода MVT-тестирования:
- Полнофакторная модель – при использовании данного метода проверяются все возможные комбинации рекламного контента, при этом трафик делится между ними поровну. К примеру, если необходимо проверить восемь типов комбинаций на главной странице, то каждый из тестовых вариантов получит ⅛ всего трафика сайта.
- Дробная MVT-модель отличается тем, что из всех возможных комбинаций в итоговом тестировании участвуют только те варианты, которые имеют, по мнению менеджеров, наибольшую важность.
Полнофакторный эксперимент при условии, что у вас достаточно трафика, дает максимально точные результаты. Точность дробного мультивариативного тестирования ниже, однако для его проведения требуется меньше времени и трафика. Дробный метод хорошо подходит для сайтов, которые посещает небольшое число пользователей.
Алгоритм проведения MVT-теста
Чтобы провести мультивариантный тест, выполните семь шагов:
- Определите проблему, которую вы хотите решить. Сформулировать ее поможет анализ обратной связи от клиентов, жалоб и заявок. Предположим, вас беспокоит то, что покупатели редко открывают вкладку «Дополнительные товары», из-за чего наблюдается отсутствие допродаж.
- Далее следует выдвинуть гипотезу, то есть предположить вариант решения проблемы. К примеру: «Если заменить кнопку для перехода на вкладку «Дополнительные товары», то количество просмотров повысится в три раза». Такая гипотеза должна быть основана на аналитических данных.
- Затем нужно сформулировать сценарии тестов: создать варианты с различными комбинациями элементов, которые требуется протестировать. Поменяйте фоновый цвет кнопки, сделайте текст более лаконичным или добавьте изображений, ориентируясь на гипотезу. Тестировать абсолютно все возможные элементы не стоит, лучше сосредоточиться на тех, которые могут подтолкнуть пользователя к совершению целевого действия с большей долей вероятности.
- На четвертом шаге необходимо выбрать метрики и провести проверку тестируемых элементов. На этом этапе производится замер количества просмотров, кликов и иных показателей, которые могут продемонстрировать эффективность теста. Допустим, если вы тестируете кнопку в email-рассылке, ключевым показателем для вас будет CTOR (Click to Open Rate – процент кликов в письмах, которые подписчики открыли). Перед тем как запускать MVT-тест, не забудьте проверить тестируемые элементы на исправность: кнопки должны нажиматься, ссылки – открывать нужные страницы, а формы – заполняться.
- Пятый шаг заключается в определении размера выборки, то есть числа пользователей, которые должны принять участие в тестировании, прежде чем вы начнете делать выводы о результатах. К примеру, при тестировании страницы сайта под выборкой подразумеваются посетители данной страницы. От размера выборки зависит, насколько точным будет результат. Для определения нужного количества используют специальные онлайн-калькуляторы, например, Optimizely. Вам следует ввести в калькулятор текущую конверсию, а также ожидаемый эффект в процентах, то есть указать, на сколько процентов вы хотите ее улучшить.
- Шестой этап – это запуск самого MVT-тестирования. Рекомендуется протестировать все варианты сразу, так как на результаты могут оказывать влияние такие внешние факторы, как время суток, день недели или сезонность. Тест можно считать завершенным в тот момент, когда каждый из вариантов наберет требующееся число просмотров.
- На заключительном шаге также при помощи онлайн-калькулятора следует рассчитать статистическую значимость полученных в процессе тестирования результатов. Для этого укажите количество конверсий по каждому варианту и введите размер выборки. Калькулятор покажет, отличаются результаты или между ними нет значительной разницы. После чего вам нужно решить, надо ли применять какой-либо из протестированных вариантов, например, элемент дизайна, или стоит начать новое тестирование.
Плюсы и минусы MVT-тестирования
Среди преимуществ мультивариантного тестирования можно назвать возможность с его помощью увеличить конверсию. Многомерный тест показывает, на какое сочетание элементов пользователи реагируют лучше: кликают на товары и покупают либо совершают другую конверсию, скажем, подписку. От того, насколько посадочная страница соответствует ожиданиям пользователя, зависит, сколько времени он проведет на сайте. Увеличение глубины просмотра страниц – один из главных факторов ранжирования, благодаря росту этого показателя ваш сайт сможет выше подняться в результатах выдачи, что приведет к повышению трафика.
MVT-тест позволяет анализировать поведение аудитории, поскольку дает четкое представление о том, что нравится пользователю, а что его раздражает. Эти сведения вы сможете использовать при разработке рекламных кампаний или при оптимизации остальных страниц сайта. Кроме того, такой тест позволит улучшить показатели без глобальных перемен и полного редизайна сайта, а также проверить идеи по его оптимизации.
К недостаткам MVT-тестирования можно отнести сложную настройку, которая занимает много времени. Еще одна проблема – для получения достоверных результатов этого теста требуется большой объем трафика. Причем чем больше проверяемых комбинаций, тем шире должна быть аудитория, которой нужно их увидеть.
Также при мультивариативном тестировании возможны ложные срабатывания, которые нужно учитывать при принятии итогового решения. Чем больше вариантов, тем выше риск случайных кликов, когда пользователь производит целевое действие благодаря дополнительным факторам, а не под влиянием тестируемых элементов.
Комментарии