А/В-тестирование является замечательным методом определения, например, какой вариант текста, сможет повысить конверсию. Но тут нужно уметь правильно объяснять числа, которые появляются в результате проведения теста, не загрузившись при это математическими уравнениями.

Главное в этом деле — это понимание основных концепций, а все прочее можно оставить для калькуляторов и различных программам.

Концепция первая: размер выборки

Нужно понимать, что измерение конверсии после проведенного А/В-теста называется отбором, а вот уже процесс сбора этих результатов – это выборка.

Если вы решите провести сравнительное исследование двух видов товара и спросите у 300 человек их мнение по поводу каждого из вариантов, результаты полученные после опроса будут очень близки к тому, что вы можете увидеть на практике. Такой опыт подходит и для различных сайтов, ресурсов, и для маркетинговых стратегий так же, как и для любого товара.

Целью статистического опроса является желание убедиться в том, что вы сможете собрать достаточное количество данных, чтобы с уверенностью прогнозировать результаты внесенных изменений. Помогут в этом онлайн-программы, в частности, калькуляторы расчета длины выборки.

Доверительные интервалы

Если вы решили провести исследование товар, в результате которого вы поняли, что 20% опрошенных вами людей предпочитают какой-либо определенны его вид. Вам стоит обратить внимание на другую часть доверительного интервала, которая составит в этом случае±2,0%. Она будет показывать границы той категории людей, что проголосовали за этот товар, и называется погрешностью.

Нужно ее учитывать, т.е. при погрешности в 2%, при показатели 20%, вы будете иметь 18% и 22%. Поэтому вы сможете с уверенностью сказать, что испытуемый товар предпочитают 18-22% людей.

Концепция вторая: доверительные интервалы при проведении А/В-тестировании

Применяя такую технологию к А/В-тестированию изменений любой активности на веб-ресурсе, можно получить подобный результат, затем необходимо будет сравнить показатели доверительных интервалов в тестах А и В, для подробной оценки значимость результатов.

Когда вы добавляете на свой сайт любую новую кнопку, вы хотите добиться роста конверсии. Чтобы проверить работает ли это, проведите А/В-тесты без кнопки, а затем уже с ней. Если доверительный интервал второго теста больше, то вы можете смело делать выбор в пользу новой кнопки.

Заключение

Несмотря на то, что А/В-тестирование — это метод, который основан на статистическом анализе, не нужно быть статистиком, чтобы суметь понять его главные концепции. Результаты тестирования будут помогать вам решать, какие изменения необходимо внедрять в свой бизнес.