Качественное исследование в Telegram — как мы изучали культурный контекст целого города «на удаленке»

Ольга Коваленко, исследователь insights-агентства Signal (part of ONY), поделилась опытом проведения качественного исследования «на удалёнке» с помощью Telegram, онлайн-методов и исследовательских лайфхаков.

Перед исследовательской командой Signal (part of ONY) стояла задача изучить контекст жизни в Калининграде и взаимоотношения жителей с культурой. Исследование проходило в рамках разработки бренд-платформы для нового филиала Третьяковской Галереи, строящегося в городе.

Изначально мы планировали приехать в Калининград, провести фокус-группы и этнографически изучить жизнь города, прогуливаясь и рассматривая улицы, дома, здания и всевозможные артефакты. Но коронавирус вынудил нас менять стратегию и искать способы переноса качественного исследования в дистанционный формат.

Сложность для нас была еще и в том, что никто из команды не бывал в Калининграде. Поэтому нам нужно было придумать способ прочувствовать город, находясь в тысячах километрах от него и его жителей.

При этом было важно:

  • провести исследование в короткие сроки (мы не могли ждать окончания пандемии, не могли растягивать исследование и кабинетный анализ, вторичный анализ)
  • сохранить “глубину” получаемых данных, найти альтернативу тактильному и физическому взаимодействию с городом, воспроизвести ощущения пребывания и жизни в городе (жители стали наши органами чувств, глазами и ногами)

  • прочувствовать позицию горожан в отношении культуры и музеев, инициировать дискуссии на эти темы
  • Пообщаться с десятками, а не единицами горожан. Поговорить с представителями разных сегментов аудитории культурных учреждений города. Сегменты были выявлены на предыдущем количественном этапе исследования.

Наш выбор: онлайн-форум

При разработке и выборе нового метода учитывались все вышеописанные обстоятельства. Мы рассматривали разные варианты.

  • Варианты методов для дистанционного исследования

Групповые видеодискуссии, которые обычно ассоциируются с аналогом фокус-групп в онлайне, имеют ряд ограничений, которыми мы не могли пренебречь. Во-первых, их ситуативность и лимитированное время не позволяют углубиться в несколько больших и разных тем и проработать все исходные задачи, которые перед нами стояли. Такая методика больше подходит для фокусированного обсуждения одного или нескольких небольших смежных вопросов. Во-вторых, пользователям неудобно прикреплять фото и видеоматериалы, а для нас это было критически важно.

Личные онлайн-интервью или чаты позволяют детально погрузиться и изучить исследовательские темы. Однако метод требует значительных временных ресурсов на сбор и расшифровку данных, которых у нас не было. Кроме того, в формате личного общения нет возможности инициировать коллективное взаимодействие между участниками, которое порождает дополнительные смыслы и инсайты.

  • Что такое онлайн-форум?

В итоге мы остановились на методе онлайн-форума, адаптировав его под свои задачи. И вот почему.

Самое общее описание этого метода: на площадке создаются ветки обсуждений по темам, куда респонденты отправляют свои ответы в виде сообщений-текстов с возможностью подкрепления медиа-файлов. В ветках возможно инициировать дополнительные обсуждения ответов пользователей, а также дискуссию между разными респондентами.

Как правило, онлайн-форум длится от трех дней и дольше, позволяя охватить множество исследовательских тем и разных жизненных ситуаций респондентов.

При такой общей канве взаимодействия с респондентами метод гибок для модификации под разные исследовательские задачи: онлайн-форум позволяет применять проективные и креативные методики, сочетать текстовые обсуждения, например, с групповыми или индивидуальными видео-звонками.

Как мы адаптировали онлайн-форум под себя

Выбор площадки для взаимодействия с аудиторией: Telegram и Miro.

В исходном виде метод похож на взаимодействие людей на интернет-форумах нулевых. Нам хотелось уйти от такого устаревшего формата, стряхнуть “пыль” и перейти к более современной и нативной для респондентов площадке, не потеряв при этом логики взаимодействия: ветки по темам + ответы пользователей.

Поэтому в альтернативу использованию специального софта для проведения онлайн-форумов (которыми пользуются большие исследовательские компании и которые часто повторяют структуру интернет-форумов) мы решили использовать более простую, доступную и привычную респондентам площадку. Выбор пал на мессенджер Telegram.

Почему Telegram стал хорошим решением для наших задач?

  • Нативность для респондентов. Респондентам не пришлось тратить время на изучение новой программы (кому хочется разбираться с еще одним новым приложением?). Также для нас было важно, что респонденты чувствуют себя максимально комфортно и привычно. Telegram как бы смягчает “вторжение” исследования в жизнь респондентов – отсюда большая расслабленность и естественность общения (в сравнении с общением на неизвестной и новой платформе со своими принципами работы).
  • Понятные формы коммуникации. Формат чата Telegram подразумевает общение между участниками и способствует поддержанию беседы. Здесь понятная и устоявшаяся культура взаимодействия друг с другом, и к тому же можно использовать полюбившиеся emoji и стикеры, находя дополнительное выражение своих мыслей.
  • Инструменты для навигации. Благодаря хэштегам нам было легко выстраивать структуру обсуждения, которая позволяла ориентироваться в чате и быстро находить нужную информацию, в том числе при последующем анализе.

  • Инструменты для управления обсуждением. Закрепление сообщений "в шапке" чата помогало держать всех участников в курсе актуального обсуждения: если респонденты не следили за всеми сообщениями в чате, то им всегда было легко сориентироваться и вовлечься в “закрепленную” тему. Модератор также мог вовлекать респондентов с помощью “тегов” по имени/никнейму. Функция точечных ответов – "реплаев" на конкретное сообщение в групповом чате – позволяла создавать отдельные ветки обсуждения и дополнительно стимулировать респондентов к более развернутым ответам.

Всё это снимает часть барьеров для респондентов, способствует увеличению вовлеченности и повышению качества и глубины данных.

В дополнение к Telegram в качестве инструмента для сбора и анализа получаемых данных мы использовали Miro – онлайн-платформу для совместной работы удаленных команд.

Дисклеймер: Безусловно, выбор платформы очень важен для удобства исследователя и респондентов. Но не стоит забывать, что это всего лишь инструмент. В итоге результат исследования зависит от опыта и коммуникативных способностей модератора, а также последующей исследовательской аналитики.

Два формата взаимодействия с пользователями.

Мы также внесли модификации в формат взаимодействия с пользователями, разделив его на две составляющие: утренние домашние задания и вечернюю дискуссию (обсуждение) в режиме реального времени. Так мы ушли от статичной структуры веток с вопросами-ответами.

Домашние задания позволили собрать “вдумчивые” мнения и большой объем текстов и медиа: респонденты могли подумать над ответом, у них было время расписать всё в подробностях. Мы, в свою очередь, сразу объемно формулировали задания -- со списком уточняющих вопросов, которые помогли бы респондентам дать более развернутые ответы. Также у нас был ряд “творческих” домашних заданий, например, мы просили респондентов нарисовать карту города по памяти. Ответы респондентов на такие задания моментально покоряли нашу команду. Так, один из участников нарисовал Калининградскую область в форме орла. Еще мы просили респондентов при желании делиться фотографиями из личного архива при ответе на задания, что помогало нам больше прочувствовать их опыт.

Формат вечернего обсуждения в общем чате позволял глубоко погрузиться в темы, уточнить что-то, что было непонятно из описаний в домашних заданиях, а также выйти на смежные с заданием темы и обсудить их. Благодаря этому мы охватывали большое число интересующих нас вопросов и при этом не утомляли респондентов.

Как проходило исследование?

В итоге было сформировано 4 группы (чата) по 10 человек. У каждой из групп была своя динамика, что помогло нам оценить эффективность различных методов модерации онлайн-чатов.

Работа с каждой группой длилась четыре дня, хотя изначально мы выделяли по 5 дней — в процессе оказалось, что реальность превзошла даже наши самые оптимистичные прогнозы на динамику в группах и респонденты очень активно вовлекались в наши обсуждения, что позволяло охватить большее количество тем за один день, чем мы рассчитывали.

Каждый день утром участники получали задание, которое они должны были выполнить в течение дня до 7 вечера. Модератор в течение дня следил за ходом выполнения заданий, иногда сразу задавал уточняющие вопросы, ближе к дедлайну тегал тех, кто задание не прислал. Такая схема взаимодействия в итоге позволила собрать ответы всех респондентов и получить 100% вовлеченность участников чата в выполнение заданий (за исключением тех, кто вообще не был вовлечен в первые дни и был впоследствии удален из чатов и исследования в целом).

Вечером в течение часа мы проводили обсуждение в чате.

В итоге все данные мы актуализировали на платформе Miro: так удавалось увидеть уже охваченные и подробно проработанные темы и начать этап анализа уже в первые дни форума.

Так выглядел наш борд в Miro после окончания этапа общения с респондентами Ольга Коваленко
Так выглядел наш борд в Miro после окончания этапа общения с респондентами Ольга Коваленко

Сложности проведения онлайн-форума

  • Отслеживание групповой динамики. В онлайн формате она ощущается по-другому. Для модератора понимание осложнено тем, что он не видит эмоций респондентов, не может опираться на мимику, жесты и те маркеры, которые релевантны для общения в реальности. Подпоркой становятся стикеры, скобочки, эмоджи. Иногда приходится действовать методом проб и ошибок -- “проверять” вопросы уже в обсуждении.
  • Склонность респондентов к негативу. Респонденты чувствуют себя более свободно и независимо, осуждение группы чувствуется “опосредованно” (всё то, что срабатывает в офлайн форматах групповых дискуссий) – поэтому вероятность проявления негатива и конфликтов повышается. Для управления подобными ситуациями важно сразу обозначить четкие правила поведения и контролировать их соблюдение. Мы старались предотвратить негатив с помощью: чередования "сложных" тем и приятных тем; игнорирования ответов "негативного" респондента; замечаний респонденту, слова которого могли задеть других участников, вплоть до удаления участника. Так, одна из “сглаживающих” тем для Калининградцев была про обсуждение моря, чем мы пользовались в самые негативные моменты.
  • Низкая вовлеченность респондентов. Одна из самых распространенных проблем длительных онлайн-исследований -- поддерживать активный уровень вовлечения большинства респондентов. Как показывает практика, вовлечение в обсуждение хотя бы половины группы -- уже отличный результат. Здесь помогают креативные задания, а также адресное обращение к респондентам (уточняющие вопросы для конкретных ответов -- “реплаи”; привлечение к рассуждению разных респондентов через теги, упоминание респондента в чате через тег). В нашем случае большую роль в высокой вовлеченности респондентов сыграла интересная для респондентов тема исследования, а также формат домашних заданий.

Лайфхаки для проведения онлайн-форума

Вот еще несколько лайфхаков, которые помогают нам при модерации онлайн-дискуссий:

Лайфхак №1. Устанавливайте правила сразу. Во-первых, правила позволяют погрузить респондентов в механику взаимодействия и уменьшают “неизвестность” ситуации. Во-вторых, они становятся основой для коллективного взаимодействия. Правила помогают модератору контролировать групповую динамику, в том числе за счет саморегуляции участников в соответствии с правилами. Так, например, в этом исследовании правила включали в себя призыв высказываться, если мнение других участников противоречит личной точки зрения респондента, а также напоминание о соблюдении дружелюбной формы коммуникации.

Лайфхак №2. Исходите из того, что активными будет меньшее число участников. Планируйте размер группы больше, чем число людей, которое вы хотите вовлечь. При этом не забывайте про эффект камерности группы как дополнительную мотивацию к вовлечению участников. Не стоит паниковать, если не все респонденты вовлечены в дискуссию. Старайтесь собрать максимально возможное количество данных, с которыми вы будете затем работать.

Лайфхак №3. Экспериментируйте с инструментами и приемами для повышения вовлеченности. Мы, например, заранее договорилась с рекрутером о том, что он будет стимулировать участников в случае их инертности. Для внутренней оценки и отслеживания вовлеченности была введена внутренняя система баллов – модератор выставлял звездочки в Miro за активность каждому участнику.

Рейтинг участников по вовлеченности в исследование Ольга Коваленко
Рейтинг участников по вовлеченности в исследование Ольга Коваленко

Лайфхак №4. Старайтесь стимулировать развернутые ответы первых респондентов. Люди влияют друг на друга. Если первый человек очень подробно ответил на вопрос, следующие скорее всего поступят так же. И наоборот. Можно дополнительно воздействовать на первые ответы респондентов и намеренно задавать к ним много уточняющих вопросов. Это, в свою очередь, мотивирует других сразу отвечать подробно.

Лайфхак №5. Поощряйте вовлеченность, в том числе и “запоздавшую”. Мы сразу обговорили с респондентами возможность поздних ответов и постоянно им об этом напоминали – если кто-то пропустил дискуссию или хотел ответить на вопрос, который уже обсудили, он мог изложить свои мысли в личных сообщениях модератору или в общий чат после окончания беседы.

Лайфхак №6. Негатив нужно пресекать на корню. На первый раз можно обойтись замечанием или игнорированием. Если ситуация повторяется, не бойтесь исключать из беседы. Не допускайте ситуации, когда групповая динамика уходит в негатив. Если вдруг был затронут чувствительный вопрос, который провоцирует негативные эмоции, нужно перейти на нейтральную тему. Не заканчивайте обсуждение на негативе. Так вы рискуете снизить мотивацию участников вовлекаться.

Лайфхак №7. Модератор может примерять разные роли. Прочувствовать настроения онлайн очень сложно. Отсутствие физического контакта заставляет модератора быть еще более гибким и аккуратным в постановке вопросов. Построение ролевых ситуаций является хорошей практикой. Например, модератор может взять на себя роль человека-незнайки: у него нет своего мнения, и он обращается к участникам, как к экспертам. Можно занять равную, дружескую позицию: показать, что модератор чувствует участника, понимает его и сопереживает ему.

Выводы

Онлайн-форум, как исследовательский метод, позволяет погрузиться в контекст респондентов без потери глубины данных и при более низких издержках в сравнении с офлайн-методами. Например, не нужно тратиться на помещения или расшифровщиков – все данные уже есть в текстовом виде.

У дистанционного и несколько асинхронного формата взаимодействия с респондентами также есть одно важное преимущество – он удобен для достижения “сложных аудиторий”. Здесь в качестве респондентов могут выступать те люди, которые обычно не могут прийти на фокус-группы в силу своей занятости или в силу удаленности.

Также онлайн-форум позволяет получить много контента от респондентов, что насыщает исследовательский отчет и “оживляет” его.

Благодаря онлайн-форуму можно охватить широкую географию в моменте и проводить группы параллельно в разных городах/странах.

Безусловно, живой групповой динамики ничто не заменит и офлайн-методы имеют ряд преимуществ, которые недостижимы в онлайне. Но при прочих вводных, онлайн-методы составляют неплохую альтернативу для реализации исследований.

66
3 комментария

Этого увлекательного хождения по граблям можно было бы избежать, если бы вы воспользовались одним из готовых инструментов - https://www.2020research.com/qualboard-discussion-boards/https://tiburon-research.ru/jetqual или аналогом, тыщи их. Это бы обошлось вам долларов в сто-сто пятьдесят.

Применение профессионального софта избавило бы вас от "лайфхака №4" и от извечной беды фокус-групп: когда первый спрошенный на вопрос "как вы проводите своё время" отвечает "люблю ходить на лыжах", и за ним все повторяют.

Профессиональный софт, в отличие от поделок на коленке, не даёт респондентам видеть чужих ответов, пока те не напишут свой. Вы можете изолировать проблемного участника, не выгоняя его. Вы можете вести заметки прямо на платформе, а не городить поделие в Miro.

К сожалению, очень часто коллеги, пришедшие в исследования потребителей из рекламных агентств или из продуктового маркетинга начинают с восторгом неофита изобретать заново велосипед. Порой стоит остановиться на секунду и спросить себя - а точно ли я первый, кто это придумал? - и тогда, может быть, натолкнуться на хорошую книжку типа этой - https://www.amazon.com/Handbook-Online-Social-Media-Research/dp/0470710403/ref=sr_1_7 и этой https://www.amazon.com/Handbook-Mobile-Market-Research-Researchers/dp/1118935624/ (написана, если что, шесть лет назад)

1

А может им жалко тратить 150 баксов на горе-сервис, который вызывает рвотный рефлекс у респов и захотели ребята организовать для них пространство с комфортом, ну да, везде есть свои нюансы, но думаю с точки зрения ux телега превзошла всех ожидания — да и главное это инсайты, а где ты из собираешь — лишь бы голова на плечах была 

2

Александр, спасибо вам за мнение!
Я здесь поддержу Альберта: тот софт, который вы называете “профессиональным”, крайне похож на Windows 98 по UX/UI.
Наверно если бы не “нефоиский восторг” компаний Apple и Google, мы бы возможно до сих пор пользовались этой чудесной системой))
Вечный спор консерваторов и новаторов в комментариях мы явно не решим, но стороны думаю понятны😉

1