А/Б тестирование-проводить или не проводить?

Опубликовано 26.10.2016 · в Юзабилити

Одним из самых важных параметров любого эксперимента является его надежность. А что может быть надежнее чем конкретные цифры? В случае работы с исчисляемыми величинами, цифрами, а стало быть статистикой мы так или иначе проникаемся доверием к результатам, ведь как гласит известная пословица: «цифры не лгут».

Это действительно так, ведь при серьезном отношении к расчетам и максимально точному учету погрешности статистические показатели практически невозможно исказить случайным образом. Исключение может составить ошибка самого проведения или некомпетентность интерпретатора, но это уже совсем другая история.

Это все, забегая наперед, давайте сначала начнем с основ этого метода.
Отметим, что А/Б тестирование представляет собой метод, который позволяет получить объективную информацию. Чтобы было легче разобрать в его сути, можно провести простую аналогию с ситуацией из реальной жизни, с которой абсолютно точно сталкивался каждый из нас.

Например, Вы решили приобрести новую технику, скажем телевизор с изогнутым экраном. Такие модели появились на рынке относительно недавно, поэтому пользоваться таким телевизором Вам еще не приходилось. Возникает вопрос: «Как же сделать выбор?». Наверняка, Вы прочитаете уйму статей с советами по выбору, изучите ассортимент телевизоров, их характеристики и бренды. Однако, завершающим этапом, который поможет сделать выбор между двумя или тремя моделями, на которых Вы остановились, скорее всего, будет поиск отзывов других пользователей. Сравнив отзывы, Вы сможете легко определить, какой телевизор лучше, даже при прочих одинаковых характеристиках.

Что это за буквы и почему ничего непонятно?

А/Б тестирование – экспериментальный способ анализа предпочтения пользователя представленного средней выборкой, которая релевантная целевой аудитории. Звучит сложно, но любой процесс можно описать сложно, так что пусть Вас это не обманывает.

На самом деле, метод этот достаточно простой и в то же самое время очень результативный. Кроме того, как мы уже упоминали ранее, подобное исследование является еще и одним из самых надежных. Само исследование направлено на понимание того, какой элемент интерфейса или дизайна улучшает целевой показатель, а какой нет.

Сам процесс тоже не особо сложный: Вам необходимо отобрать две тестовые группы, на которых Вы будете испытывать две конфигурации готового проекта (вариант А и вариант Б, так и появилось название). То есть экспериментально-опытным путем или, по-другому говоря, методом подбора Вы находите именно тот самый наиболее действенный вариант продукта.

Всего два варианта? Это маловато!

Полностью с Вами согласны, хотя и бывают случаи, когда именно такая постановка задачи становится наиболее рациональной. Все-таки заметим, что описанная нами версия является первоначальной и базовой. Никто не помешает Вам провести тестирование не двух конфигураций, а сразу нескольких различных по определенным параметрам или разных полностью проектов. Такая версия А/Б тестирования называется «многовариантным исследованием», хотя сама суть остается целиком прежней.

Важный момент – не забудьте о том, что обязательно иметь группу, сохраненную безо всяких изменений, то есть контрольную группу на которую можно будет ориентироваться, как на эталонный статистический показатель.

В каких случаях и на каких этапах нам это пригодится?

По поводу того, на каком этапе будет правильно использовать этот вид тестирования можно сказать только то, что это целиком зависит от целей, поставленный первоначально. Специалисты говорят, что наиболее разумным было бы применение А/Б сравнение на финальных этапах производства, когда близится момент сдачи конечного материала, а Вы стоите перед важным выбором и не знаете на какую «тропу» свернуть.

Из этого пункта вытекает и ответ на второй вопрос: «В каких случаях это будет полезно?». Если Вы получили противоречивые данные в результате других исследований, то теперь есть шанс поэкспериментировать на «живых» юзерах, которые и будут пользоваться ресурсом. Кроме того, если внутри самой команды есть определенные противоречия в применении того, или иного элемента, при этом каждая сторона вопроса аргументирована, то это опять-таки шанс узнать все наверняка и совершенно объективно.

Сами изменения показателей и их значимость рассчитывается с помощью инструментов статистического анализа. Именно поэтому мы рекомендуем привлекать к выполнению данной задачи профильного специалиста, хотя базовыми навыками статистики обладают, как правило, и маркетологи.