Jump to content

Введите пароль или зарегистрируйтесь

Авторизация
Ваш логин:У меня нет логина!Ваш пароль:Я забыл пароль!

Статистическое тестирование. Метод "face-to-face", анкетное интервью, 2-х дневная процедура. Ч.1

Работая в качестве ресечера рекламного агентства, я часто сталкиваюсь с задачей выбора того или иного варианта креативного решения. Как, например, выбрать лучшее (из предложенного креативным отделом) название рекламируемого продукта, слогана, лучший дизайн упаковки и тому подобные материалы, называемые в дальнейшем объектами тестирования?

Классический вариант решения такого рода задачи предполагает социологическое тестирование, например, на фокус-группах. Однако в некоторых случаях процедура статистического тестирования (в дальнейшем СТ) представляется более уместной, потому что:

  • занимает существенно меньше времени на подготовку и проведение, что позволяет решать задачи оперативно;
  • позволяет получить статистически достаточно достоверные как количественные, так и качественные результаты;
  • позволяет экономить — стоимость одной СТ примерно равна стоимости одной группы (для нормального тестирования на фокус-группах необходима целая их серия).

Итак, дадим в формализованном виде описание процедуры статистического тестирования и рассмотрим примеры практического применения.

Часть 1. Постановка задачи

Основные определения

I. Цели

Целью проведения процедуры СТ (как и любого тестирования вообще) является получение информации достаточной для выбора одного (лучшего) из нескольких вариантов рекламы и/или ее элементов.

II. Объекты тестирования

Как уже упоминалось, тестированию могут быть подвергнуты рекламное сообщение в целом и/или его отдельные элементы.

С точки зрения процедуры СТ все объекты бывают малого, среднего или большого информационного объема.

Объектом малого информационного объема называется рекламное сообщение и/или его часть, для восприятия которого человеком требуется менее чем 1-2 секунды (в таких случаях говорят, что человек «считывает» информацию менее чем за 1 сек.).

Примерами малого информационного объема являются следующие элементы рекламы:

  • бренднейм, торговая марка, название товара/магазина/ и т.д.;
  • хедлайн;
  • слоган и т.д.

Объектом среднего информационного объема называется рекламное сообщение и/или его часть, для восприятия которого человеку нужно порядка нескольких секунд.

Примерами среднего информационного объема являются следующие элементы рекламы:

  • дизайн упаковки товара или комплекс — бренднейм + дизайн упаковки;
  • формулировка торгового предложения (УТП);
  • формулировка рекламного предложения;
  • некоторые рекламные макеты для прессы/наружной рекламы и т.д.

Объектом большого информационного объема называется рекламное сообщение и/или его часть, для считывания которой требуется более 10-15 секунд.

Примерами высокой информационной насыщенности являются следующие элементы рекламы:

  • рекламный TV-ролик;
  • некоторые макеты для прессы;
  • радиоспот;
  • небольшая рекламная статья и т.д.

Процедуре СТ могут быть подвержены объекты малого и среднего информационного объема без ограничений. В некоторых случаях СТ возможно над объектами большого информационного объема (эти случаи в настоящей статье не рассматриваются).

III. Количество вариантов объекта для СТ

За одну процедуру СТ, как правило, тестируется только один объект. В приведенном ниже примере, тестировался один объект — бренднейм; из нескольких представленных на СТ вариантов отбирался лучший. Тестировать за один раз различные объекты в принципе возможно, если они однозначно рекламно-независимы. Нельзя тестировать одновременно бренднейм и слоган данного бренднейма — поскольку это явно рекламно-взаимозависимые величины.

Минимально возможное количество вариантов объекта для процедуры СТ — 4.

Максимально возможное количество вариантов — 10.

Рекомендуется для наиболее точного проведения тестировать 5-7 вариантов.

IV. Определение целевой аудитории (ЦА) и организации выборки

Статистически достаточным считается объем выборки в 50-70 представителей ЦА.

Ниже представлены три основных принципа формирования выборки для СТ на основании тех. задания, в котором должно достаточно четко быть определена ЦА рекламы.

1 принцип — формирование выборки по полу респондентов

В зависимости от ЦА возможны только пять вариантов организации выборки по полу:

Если ЦА рекламы являются ........то выборка на СТ:
....только мужчины100% выборки — мужчины
...в основном мужчины 3/4 — м 1/4 — ж
...и мужчины и женщины, приблизительно в равной степени1/2 — м 1/2 — ж
...в основном женщины1/4 — м 3/4 — ж
...только женщины.100% выборки — женщины

Аналогична выборка по семейному положению и т.н. «бинарным» социо-демографическим характеристикам

2 принцип — формирование выборки по возрасту респондентов

Необходимо внутри указанной в тех. задании возрастной группы соблюсти равномерное распределение. Например, при СТ по возрастной группе «женщины от 24 до 35 лет» организуемая выборка должна быть:

Общий объем выборки: 60 человек.

Возрастная подгруппа24-2627-2930-3233-35
Количество респондентов15 ± 215±215±115±2

Если условия выборки по половому признаку есть «1/2 м + 1/2 ж, от 24 до 35 лет», то:

Общий объем выборки: 60 человек.

Аналогично по доходу и т.п. социо-демографическим характеристикам.

Возрастная подгруппа24-2627-2930-3233-35
Количество респондентов (Ж)7 ± 17 ± 17 ± 17 ± 1
Количество респондентов (М)7 ± 17 ± 17 ± 17 ± 1

Часть 2. Описание процедуры

Вариант 1. Статистическое тестирование объектов малого информационного объема

Процедура СТ проводилась для вариантов названия (бренднейма) растворимого кофе со сливками и сахаром в мелкой «одноразовой» расфасовке (пакетиках).

ЦА, заданная заказчиком:

М/Ж — 25/75 %.
Возраст: 25-50 лет.
Доход низкий и средне-низкий (цифры — уточнены).
Образование: 25/75% высшее (25% имеют высшее образование, 75% — нет).

Варианты названий:

1. «Восточный экспресс»
4. «Престиж»
2. «Триумф»
5. «Робинзон»
3. «Формула «3 в 1»
6. «День и ночь»

I. Подготовка материала для тестирования

Каждому ресечеру, проводящему полевые работы (тип интервью «face-to-face»), выдается комплект карточек, на каждой из которых написано по одному варианту тестируемого объекта (в нашем случае названия).

Карточка имеет размер стандартной игральной карты, изготовлена из плотной бумаги и во избежание преждевременной порчи, заламинирована.

На лицевой стороне карточки — посередине — один из вариантов объектов, представленных на тестирование. Рекомендуемый шрифт — Futuris Bold или похожий. Кегль — от 28 пт., в зависимости от размера самого длинного названия из пула.

На оборотной стороне карточки — порядковый номер названия (который в дальнейшем удобно заносить в протокол тестирования). Номер не должен просвечивать через карточку.

Вот как выглядел материал для тестирования в нашем примере:

Лицевая сторонаОборотная сторона

II. Проведение полевых работ

Тестирование проводится в течение 2-х дней для каждого из респондентов.

В 1-й день тестируется восприятие объектов. Метод — интервью «Face-to-face». При этом респонденту не сообщается, что его будут интервьюировать на следующий день.

Во 2-й день, ровно через сутки, на тех же респондентах тестируется запоминаемость объектов. Допустим, опрос по телефону.

1-й день. Тестирование восприятия

  1. Выбрать респондента согласно техническому заданию по ЦА.
  2. Представиться, кратко объяснить цель работы («Мы проводим тестирование названия нового продукта, насколько оно может понравиться/не понравиться покупателям...» и т.д.), уточнить социально-демографические характеристики респондента и занести их в протокол тестирования.
  3. Определить способ связи с респондентом в будущем (не упоминая, что как раз именно завтра интервьюер снова выйдет на связь). Впрочем, данный вопрос можно решить в любое удобное интервьюеру время по ходу интервью.
  4. Ознакомить респондента с характеристиками товара, для которого разработаны данные варианты тестируемых объектов («Товар, для которого разрабатывается название, — растворимый кофе со сливками и сахаром в небольшой «одноразовой» упаковке»).
  5. Уточнить, является ли респондент пользователем данного товара, и если да, то в каких ситуациях он его употребляет.
  6. Ознакомить респондента со схемой проведения интервью по тестированию объектов («Представьте себе, что вы пришли в магазин с целью покупки растворимого кофе со сливками и с сахаром для.../см. ответ респондента на вопрос п.5/. В магазине на прилавке есть шесть марок такого кофе, приблизительно одинаковых по цене, размеру, дизайну упаковки и т.д. Я сейчас разложу все шесть названий здесь перед вами, как в магазине на прилавке. Не торопясь изучите названия и выберите одно, которое вам больше всего понравилось»).
  7. Разложить тестируемые объекты, примерно имитируя их расположение в естественной среде, таким образом, чтобы респонденту было легко «читать» и одновременно все варианты вместе, и каждый из них в отдельности. Дать респонденту время, порядка 1-2 минут, на самостоятельное ознакомление с объектами.
  8. Предложить респонденту указать лучший из вариантов, убрать вариант с «магазинного прилавка», занести его порядковый номер в протокол тестирования.
  9. Предложить респонденту указать лучший вариант из числа оставшихся («Представьте, что вы пришли в магазин, а там есть только 5 марок кофе. Марку с каким названием вы выберите?»).
  10. Порядок выбора вариантов респондентом зафиксировать в протоколе тестирования (для удобства — не сами тестируемые объекты, а их порядковые номера).

2-й день. Тестирование запоминаемости

  1. Выйти на связь (возможно по телефону) с респондентом на следующий день.
  2. Напомнить ему о вчерашнем тестировании. Попросить вспомнить представленные вчера на тестирование объекты.
  3. Ответы респондента занести в протокол тестирования дословно, т.е. так, как он сказал, независимо, с ошибкой или без. Респондента при этом не поправлять.

При этом следует различать варианты тестируемых объектов, которые респондент воспроизвел не задумываясь (независимо от точности воспроизведения респондентом объектов), и варианты, которые респондент воспроизводил после некоторого раздумья (опять же независимо от точности воспроизведения).

В представленном ниже протоколе тестирования названия, которые респондент воспроизвел не задумываясь, выделены подчеркиванием.

III. Протокол тестирования

Протокол тестирования для 40 интервью выглядит следующим образом: (Рис. 1).

№ респонд.социально-демографические характеристики результат теста на восприятие (1-й день)результат теста на запоминаемость (2-й день)
пол возраст Иные
1ж49...3 6 1 2 4 5День и ночь, 3 в 1, Экспресс
2ж50...4 1 3 6 2 5Триумф, Престиж, 3 в 1, Робин Гуд, Восточный экспресс
3ж34...2 1 4 5 6 3Восточный экспресс, Триумф, Формула 3 в 1, Робинзон
4ж47...2 4 1 3 5 6Триумф, Робинзон, Престиж, Восточный экспресс, 3 в 1
5м40...1 3 4 6 2 5Восточный экспресс, День и ночь, 3 в 1, Триумф, Робинзон, Престиж
6м28...6 1 4 5 2 3День и ночь, 3 в 1, Престиж
..................
40ж25...3 6 1 2 4 5День и ночь, Восточный экспресс, Триумф, Престиж

Итого: Опрошено 40 человек,
Из них 13 мужчин (30%) и 27 женщин (70%). Заданное распределение по полу практически соблюдено.
Средний возраст опрошенных — 37 лет, минимальный возраст — 24 года, максимальный — 49 лет.
Равномерность возрастного распределения опрошенных соблюдена.
Выборка признана репрезентативной, т.е. соответствующей техническому заданию на проведение статистического тестирования.

IV. Обработка и интерпретация результатов

1. Обработка результатов теста на восприятие

1а. Рейтинг

Статистическая обработка результатов теста на восприятие проводится методом голосования: подсчитывается количество очков, которые набирает тот или иной вариант тестируемого объекта (в нашем случае вариант названия для растворимого кофе в пакетиках) суммарно у всех респондентов.

В общем случае, если тестируется n вариантов объекта, то вариант, наиболее понравившийся респонденту и стоящий в протоколе тестирования на 1-м месте, получает n очков.

Вариант, стоящий на 2-м месте получает n-1 очков...

Вариант, занявший последнее место, получает 1 очко.

Суммируя количество очков, набранных определенным i-й вариантом по каждому из респондентов, получаем общее количество очков данного варианта тестируемого объекта — КОi.

Если в процедуре статистического тестирования принимает участие m респондентов, то рейтинг i-го варианта:

Пример. Вычисление рейтинга по восприятию для вариантов названий кофе.

Вариант 1. «Восточный экспресс»

№ респондентаМесто вариантаКол-во очков
134
225
325
434
516
625
.........
4034
 КО=173

В нашем случае:

n=6
m=40

Значение рейтинга 1-го варианта названия для кофе «Восточный экспресс»: R1= 173/(6х40) = 0,7208.

В итоговую таблицу заносится округленное до ближайших 0,05 значение: 0,70

Аналогично подсчитываются рейтинговые значения для остальных вариантов названий.

Итоговая рейтинговая таблица:

НазваниеРейтинг RiМесто по восприятию
Восточный экспресс0,70I
Триумф 0,65 II-III
День и ночь0,65II-III
Формула 3 в 10,5IV-V
Престиж 0,5IV-V
Робинзон 0,35VI

1б. Коэффициент эмоциональности восприятия КЭВ

Численно равен частоте постановки данного варианта тестируемого объекта респондентами либо на первое место («очень нравится»), либо на последнее место («очень не нравится»).

Иными словами, сколько человек из общего количества респондентов наиболее эмоционально отнеслись к данному варианту, независимо, положительно или отрицательно. Обращаю особое внимание на то, что данный параметр не делает различия между крайне позитивной или крайне негативной оценками.

Формула для расчета Коэффициента эмоциональности восприятия i-го варианта тестируемого объекта:

Здесь m — объем выборки (количество участвующих в тестировании респондентов).

Даже по приведенной выдержке из протокола тестирования заметно, что вариант названия за номером 3 («формула 3 в 1») из 7-ми случаев 4 раза поставлен в крайние позиции.

НазваниеРейтинг RiМесто по восприятиюКЭВ
Восточный экспресс0,70I0,20
Триумф 0,65 II-III0,33
День и ночь0,65II-III0,33
Формула 3 в 10,5IV-V0,55
Престиж 0,5IV-V0,10
Робинзон 0,35VI0,45

На основании результатов теста на восприятие однозначной отбраковке подвергнуты варианты «Престиж», «Робинзон», вероятной — «Формула 3 в 1».

КЭВ является дополнительной информацией и при анализе используется по принципу «при прочих равных». Так, в нашем примере он не смог «развести» названия «Триумф» и «День и ночь» по местам II-III, поскольку КЭВ у этих названий так же оказался равным. Однако, благодаря КЭВ, название «Формула 3 в 1» однозначно заняло более высокое место, чем название «Престиж».

Интерпретация КЭВ

КЭВ 0 — 0,15

Зона пониженного эмоционального восприятия.

Означает, что вариант слишком «холоден», не вызывает эмоционального отклика у ЦА.

В случае названия для кофе низкое значение КЭВ практически означает, что для успешного продвижение товара с таким названием потребуется больше рекламных усилий, нежели для вариантов с более высоким значением КЭВ

0,15 — 0,35

Нормальное (благоприятное) восприятие.

Варианты тестируемых объектов, расположившиеся в этих интервалах, имеют преимущество перед остальными объектами при оценке вариантов по принципу «при прочих равных»

выше 0,35

Повышенное эмоциональное восприятие. Использование варианта тестируемого объекта, расположившегося в этих интервалах, будет рискованным.

2. Обработка результатов теста на запоминаемость (2-й день)

Рассматриваются три возможных варианта воспроизведения респондентами объектов (остальные случаи сводятся к указанным трем):

  1. Респондент сразу и легко воспроизводит один или несколько вариантов (при этом воспроизведение каждого варианта может быть как точным, так и с ошибками). В протоколе тестирования данные варианты были выделены подчеркиванием.
  2. Респондент воспроизводит еще несколько вариантов с трудом и после некоторого раздумья, воспоминания (при этом, аналогично, воспроизведение каждого варианта может быть как точным, так и с ошибками).
  3. Если респондент сделал ошибку при воспроизведении того или иного варианта объекта, то ошибка может трактоваться следующими двумя способами:

А. Ошибка 1-го типа. Существенно неправильное воспроизведение какого-то одного объекта. Так, название «День и ночь» респондент воспроизводит как «День и вечер». В то же время воспроизведение названия «Формула 3 в 1» как «3 в 1» являлось, скорее всего, простым сокращением и ошибкой не считалось.

Б. Ошибка 2-го типа. Респондент «выдал» объект, который является некой смесью из нескольких вариантов одновременно. Если респондент воспроизвел «Восточный триумф», то, очевидно, он ошибочно воспроизвел смесь из 2-х названий — «Восточный экспресс» и «Триумф».

2а. Значение рейтинга Rз

Обработка также проводится методом голосования:

  1. Вариант объекта, воспроизведенный респондентом «сразу и легко» (см. выше) и без ошибки, получает 1 очко (в протоколе тестирования в нашем примере такие варианты выделены подчеркиванием).
  2. Вариант объекта, воспроизведенный респондентом среди группы «с трудом и после некоторого раздумья» и без ошибки, поручает 0,5 очка.
  3. Вариант объекта, воспроизведенный респондентом с ошибкой 1-го типа, получает 0,25 очка.
  4. Если респондент выдал ошибку второго рода, то каждый из исходных вариантов объекта получает по 0,25 очка.

Суммируя количество очков, набранных каждым (i-м) вариантом по всем респондентам, получаем общее количество очков данного варианта — КОi.

Если в процедуре статистического тестирования принимает участие m респондентов, то рейтинг i-го варианта (n — количество тестируемых вариантов):

Результат расчета рейтингов названий по запоминаемости:

Место Название R
1-3День и ночь0,55
1-3Престиж 0,55
1-3Триумф 0,55
4-5Формула 3 в 10,5
4-5Восточный экспресс0,5
6Робинзон 0,3

На основании обработки результатов теста на запоминаемость однозначной отбраковке подвергнут вариант «Робинзон».

2б. Частота ошибок воспроизведения

Для каждого варианта тестируемого объекта вычисляется вероятность ошибки воспроизведения. Кроме того, для каждого варианта выписываются все ошибки воспроизведения 1-го типа.

Итоговая таблица тестирования выглядит следующим образом:(Рис. 2)

Место Название RЧастота ошибокОшибки воспроизведения 1-го типа.
1-3День и ночь0,550,05«День и вечер»
1-3Престиж 0,550-
1-3Триумф 0,550,05«Победитель»
4-5Формула 3 в 10,50,05 (*0,9)«3 в 1» — 28 раз; «Три к одному»
4-5Восточный экспресс0,50,05 (*0,3)«Экспресс» — 7 раз; «Весенний экспресс»;
«Экспрессо» (правильный вариант — «эспрессо»).
Полевым работникам следует очень внимательно слушать респондента и фиксировать лексику респондента добуквенно
6Робинзон 0,30,2«Робин Гуд» — 2 раза; «Охотник»; «Негр»; «Колумб»

Нулевая частота ошибки воспроизведения случается редко, и если случается, то:

Первое. Вариант тестируемого объекта (в нашем примере — вариант названия) действительно как нельзя лучше подходит данному товару, предназначенному для данной ЦА. Это действительно только в случае, если данный вариант занимает существенно лидирующие позиции как в рейтинге на восприятие, так и в рейтинге на запоминаемость (такого в нашем примере не наблюдается).

Второе. Если вариант названия отнюдь не занимает лидирующие позиции в рейтинге на запоминаемость, то нулевая частота ошибок, скорее всего, означает, что данный вариант слишком обыденный, повседневный, и, скорее всего, уже встречался в названиях каких-то иных достаточно популярных товаров в данной ЦА.

Нормальная частота ошибок 0,05 — 0,15. Такая частота говорит, с одной стороны, о том, что данный вариант тестируемого объекта подходит товару в условиях данной ЦА. С другой стороны, о том, что сам вариант вкупе с товаром вызывает определенные ассоциации, которые можно использовать, например, при рекламировании товара (см. ниже — Анализ ошибок воспроизведения).

Высокая частота ошибок воспроизведения — более 0,15. Вариант объекта не подходит данному товару для данной ЦА. Спектр ассоциаций, связанных с вариантом объекта и самим товаром слишком широк, имидж товара будет плохо поддаваться контролю средствами рекламы и PR.

2в. Анализ ошибок воспроизведения

В теории возникновение ошибок воспроизведения связано с ассоциативным и образным мышлением человека. Произнесенные или увиденные слова или графический образ автоматически вызывает у человека ряд ассоциаций. Человек, не имеющий специальной установки запомнить объект (это одно из важнейших требований проведения 1-го дня полевых работ — см. выше), с определенной степенью вероятности воспроизведет не сам объект, а нечто иное (слово, образ и т.д.), ассоциативно связанное с «начальным» объектом.

Поэтому анализ основных ошибок воспроизведения может дать интересную информацию, значимую для принятия решения при выборе того или иного варианта объекта.

Анализ ошибок воспроизведения

Восточный экспрессОсновная ошибка воспроизведения связана с опусканием прилагательного — эмоциональной составляющей названия. Обозначена прямая ассоциация со скоростью приготовления кофе. Косвенная ассоциация — « не элитное» транспортное средство (поезд, автобус и т.д.), где может употребляться данный напиток, — имеет нейтральную или слабую отрицательную окраску.
Другая ошибка связана с заменой одного положительно окрашенного определения на другое.
Третья ошибка связана со способом приготовления кофе.
ВЫВОД. Прослеживается сильная прямая ассоциативная связь с товарной категорией. Окраска связей в целом положительная.
ТриумфОшибка связана с синонимичной заменой одного положительно окрашенного слова на другое. Ассоциативной связи названия с кофе не выявлено.
День и ночьОшибка связана с ассоциацией по возможному времени употребления кофе. Косвенная ассоциация — слабый, не крепкий кофе.
Формула 3 в 1Ассоциативные связи с товарной категорией слабые.
Основная ошибка (см. комментарий к таблице результатов теста на запоминаемость) связана с опусканием нейтрального по окраске и малоинформативного слова. Отметим, что респонденты более склонны опускать нейтральные слова, нежели эмоционально окрашенные (см. «Восточный экспресс»).
Другая ошибка связана с количественным содержанием компонентов кофе и/или способам его приготовления.
Ассоциативные связи с товарной категорией слабые.

ВЫВОД. На основании вышеперечисленных факторов рекомендуется выбрать из следующих вариантов:

  1. Восточный экспресс
  2. День и ночь

Продолжение статьи в следующем номере.

Андрей Селин

Читайте также

Крапленые карты

Культура потребления. Черты российского потребителя

Какую рекламу нужно делать для молодежи? Исследование воздействия рекламы на ценностные ориентиры молодежи 6

Маска, я тебя знаю! Социально-демографические характеристики абонентов сотовой связи

Продвижение моторных масел на российском рынке 1

Еще статьи по теме ...

Комментарий

Новое сообщение

Проверочный код 

Рассылка



Проверочный код
_SECURITY_CODE 

настройка / отписаться ]

На правах рекламы: