Как с помощью «домашки» тестировать сложные UX-сценарии

Работая с технологически сложными продуктами, я замечала, что классические юзабилити-тестирования выбора, заказа и покупки продуктов затрагивают только  вершину айсберга пользовательских проблем. Основные сложности пользователей, связанные с настройкой, кастомизацией и интеграцией с другими инструментами, остаются незамеченными.

Мы в Selectel решили учесть специфику наших продуктов в UX-исследованиях и попробовали новый формат юзабилити-тестирования — мы его ласково называем «домашнее задание». Но прежде чем перейти к практике, давайте погрузимся в нюансы сложных IT-продуктов.

В чем специфика сложных b2b-продуктов? 

Selectel — это независимый провайдер сервисов IT-инфраструктуры в России. На базе наших продуктов и сервисов большие и маленькие компании создают и развивают цифровые продукты: базы данных, 1С, веб-приложения, сайты, системы мониторинга.

В упрощенном виде CJM нового пользователя Selectel состоит из пяти этапов: 

• выбор сервисов,
• регистрация в панели управления,
• оплата,
• настройка инфраструктуры,
• регулярное использование.   

Чтобы улучшить процесс выбора, регистрации и покупки, мы регулярно проводим юзабилити-тестирования этих сценариев. И по нашей практике самый трудозатратный этап (особенно для новых клиентов) — это не покупка серверов, а этап настройки инфраструктуры. 

Как же выявлять проблемы на этом этапе? Мы поняли, что классическое модерируемое юзабилити-тестирование не подходит для этой задачи — оно не учитывает специфики сложных b2b-продуктов: настройка длится долго (более двух часов), при этом пользователям нужно вникать в документацию и параллельно использовать другие сервисы.   

Чтобы лучше понимать боли и проблемы пользователей на этапе настройки инфраструктуры, мы стали использовать формат немодерируемого юзабилити-тестирования или «домашнего задания». 

Чем «домашка» отличается от стандартного юзабилити-тестирования?

«Домашнее задание» в нашем варианте — это когда мы составляем задание для респондентов, приближенное к рабочим задачам, и просим их выполнить его дома в удобное время, делая запись экрана с комментариями. Задание занимает 2-3 часа. Его можно выполнять в несколько подходов.

Когда советуем использовать метод «домашнего задания»:  

• Хотите выявить сложности в длинных пользовательских сценариях (например, миграция, настройка, кастомизация), которые включают в себя несколько продуктов и сервисов. Также — документацию.

• Когда респонденту требуется больше часа, чтобы вникнуть в продукт, разобраться в его фичах и технических особенностях.

Как мы адаптировали метод юзабилити-тестирования под себя? Пошаговый кейс исследования продукта

Предыстория исследования

Цель

Мы хотели понять, на каком этапе возникают сложности и как мы можем ускорить процесс настройки для пользователей. 

Целевая аудитория

Мы обозначили целевую аудиторию исследования таким образом:

• Системные администраторы, DevOps-инженеры с опытом работы от трех лет. Сознательно приглашали на исследование специалистов с опытом работы, так как задание требовало высокой квалификации. 
• Новые пользователи Selectel. Хотели протестировать флоу настройки именно на новых пользователях, чтобы подсветить все основные проблемы.

Задание для респондентов

Это задание и другие организационные моменты мы оформили в инструкцию для участников исследования. В нее вошли следующие пункты:

• описание задания,
• как начать работу с Selectel, 
• какой сервер выбрать при заказе, 
• как делать запись экрана,
• что делать после завершения задания.

Подготовка к исследованию

Перед рекрутингом стоит продумать, какие ресурсы вам понадобятся для проведения респондентов. В нашем случае это были:

• бонусные баллы для заказа сервисов Selectel;
• технический эксперт, который помогал с ответами на технические вопросы клиентов. 

В каких-то случаях может понадобиться тестовый аккаунт или демо-проект. Все это стоит учесть при планировании исследования.

Рекрут

Для поиска респондентов мы использовали LinkedIn — на этой платформе есть вся необходимая для нас информация, что отобрать участников:

• должность, компания и опыт работы,
• владение технологиями (напр. Kubernetes, Terraform),
• опыт работы с провайдерами.

Мы использовали LinkedIn Search, фильтровали по должности и локации. Отправляли запрос на коннект, прикрепляя краткое приглашение на исследование (в бесплатной версии LinkedIn ограничивает первое сообщение до 140 знаков). При наличии интереса в переписке рассказывали подробности. 

Мотивация 

Совет: респондентам нужно потратить немало времени, поэтому в приглашении на исследовании стоит подчеркнуть выгоду для участников исследования. 

Например, мы предлагаем за участие подарочный сертификат в популярный маркетплейс. Сумма зависит от сложности задания, но должна быть значимой для респондентов. 

Наша конверсия в участие составила примерно 20%. Мы поняли, что IT-специалистам интересно участвовать в подобных исследованиях не только из-за материального вознаграждения, но и для саморазвития и повышения квалификации, ведь это возможность попробовать новые сервисы и технологии. 

Вводное интервью

После того как респондент согласился участвовать в исследовании, мы приглашали его на вводное интервью на 15 минут. 

Главная цель вводного созвона — лучше узнать профиль респондента, подробнее рассказать про процесс исследования и согласовать сроки проведения. 

Что мы обсуждали на созвоне:

• Опыт работы респондента. Для нас было важно узнать должность, текущие обязанности, стаж и опыт работы с другими провайдерами, так как эти факторы влияют на опыт настройки и скорость выполнения задания. 
• Цель исследования. На этом этапе было важно донести до респондентов, что мы не тестируем их навыки и компетенции, а хотим понять какие проблемы возникают при настройке. В противном случае респонденты будут воспринимать задание как проверку своих знаний.
• Инструкция. На созвоне я делилась экраном и вместе с респондентами проходила по каждому пункту инструкции. 
• Сроки выполнения. Мы сразу на вводном созвоне спрашивали, в какие сроки респондент готов приступить к заданию. Если ваше исследование ограничено по времени и вы не будете принимать записи позже определенной даты, это тоже нужно проговорить с респондентами.
• Вознаграждение. Проговаривали участникам порядок вознаграждения за исследования. Отдельно уточняли, что для нас не так важен факт выполненного задания, как сам процесс выполнения. 
• Вопросы участников. 

В конце созвона мы присылали участнику ссылку на инструкцию и промокод, чтобы начать тестирование наших сервисов.

Выполнение задания

При планировании исследования мы рассчитывали, что срок выполнения задания займет неделю. Но на практике сроки затягивались, поэтому длительность исследования сильно растянулась.

Вот что на этом этапе важно иметь в виду:

• Респонденты будут задавать вопросы. При возникновении проблем участники исследования обращаются за помощью. Поэтому стоит заранее сориентировать респондентов куда им лучше писать: вам лично, в техподдержку или чат в Telegram с техническими экспертами. Часто респонденты выполняют задание на выходных, поэтому сценарий отработки вопросов в эти дни тоже стоит продумать перед началом исследования.

• Клиенты b2b-продуктов — профессионалы с загруженным графиком, поэтому выполнение задания часто отходит на второй план и сроки выполнения затягиваются. Чтобы мотивировать участников, мы связывались с ними несколько раз за время исследования, узнавали не возникли ли какие-то проблемы при выполнении задания и напоминали им о сроках проведения. 

• Около 10% респондентов отваливается и не завершает исследование. Увы.

Финальное интервью

После завершения задания респонденты присылают ссылку на запись экрана. Убедитесь, что файл можно скачать. Важно, чтобы доступ к нему у вас остался и после исследования. В конце закрепляем результат на получасовом финальном интервью, в котором также участвует продуктовая команда. 

Что мы обычно спрашиваем на таких встречах:

• Расскажите про ваши общие впечатления?
• Какие трудности возникали при работе с …?
• На видео вы … , расскажите что вы искали в этом разделе?
• Какой этап работы был самым сложным?
• Почему он был сложным?
• Что помогло бы вам на этом этапе?
• Чего не хватило?
• Что мы можем улучшить?

В конце исследования мы предложили участникам пройти небольшой опрос, суммирующий опыт использования наших сервисов. Это помогаем нам собирать более структурированную обратную связь.

Анализ результатов кейса

Анализ данных видеозаписей и интервью — сложная и трудоемкая задача. Важно хорошо структурировать инсайты, чтобы не потеряться в потоке информации и донести до продуктовой команды самое важное.

Мы структурировали данные на нескольких уровнях.

1. CJM процесса настройки

Настройка сервиса — это поэтапный процесс, поэтому хорошо укладывается в формат CJM. Визуализация помогает верхнеуровнево посмотреть на каждый этап и оценить, где возникает наибольшее количество проблем. Также понять, какими ресурсами пользовались респонденты.

2. Детальное описание проблем

Далее мы детально описывали найденные проблемы, прикладывали скриншот или запись с видео, указывали критичность проблем и статус. 

Проблемы поделили на категории: UX проблемы и Документация. UX проблемы — про сложности взаимодействия с интерфейсом, а документация  — про неточности или недостатки в инструкциях по продукту. Такое разделение помогло ориентироваться в списке проблем и фокусироваться на тех, что попадают в зоны ответственности разных команд.

Мы также включили в отчет:

• общие инсайты о поведении пользователей. Это устойчивые паттерны поведения, которые не относятся к проблемам, но важны для понимания пользовательского опыта. Например, во время исследования мы можем отметить различия в использовании сервиса в зависимости от опыта респондента.

• другую обратную связь по нашим продуктам и сервисам, которую мы узнали за время исследования.

Главное: «домашнее задание» — плюсы и минусы подхода

Наши клиенты выполняют долгие сложные задачи, во время которых они пользуются целой экосистемой продуктов компании. Формат «домашнего задания» помогает нам понять, как проходит это взаимодействие. А еще увидеть возможные улучшения в этом процессе. 

Как у любого инструмента, у этого метода есть свои ограничения и преимущества. Уверена, что такой формат подходит далеко не для всех компаний и продуктов, поэтому не бойтесь экспериментировать и адаптировать его под себя.

Плюсы

• Глубокие инсайты. Наблюдение за выполнением процесса настройки инфраструктуры целиком, а не фрагментами, помогает получить более глубокие инсайты. Например, узнать, на каком этапе пользователи уходят на сторонние сайты за помощью или в каких точках процесса проверяют правильность настройки. 

• Естественная среда. Немодерируемый формат «домашнего задания» позволяет респондентам выполнять задание самостоятельно в удобное время. Такая обстановка приближена к рабочему контексту, респонденты ведут себя естественнее и расслабленнее, чем при наблюдении модератором в реальном времени

• Более информативно, чем интервью. Наблюдение за выполнением задания позволяет выявить проблемы, про которые респонденты забыли на интервью.

• Убедительно для команды. Увидеть, как пользователь мучается при настройке сервиса и услышать об этом — не одно и то же. Записи позволяют поднять приоритет проблем, которые долгое время откладывались.

Минусы

• Задание ≠ рабочая задача. В формате «домашнего задания» мы даем респондентам созданное нами задание, и оно все равно будет отличаться от реального рабочего контекста. Например, не учитываем совместную работу с другими коллегами или вопросы безопасности, которые возникают на реальных проектах.

• Требовательный формат. Формат исследования требует технических знаний и большой вовлеченности участников. Так, от респондентов нужно участие в двух созвонах, выполнение задания, запись экрана со звуком и загрузка файла в хранилище.

• Большой объем данных. Анализ видеозаписей длиной в 2-3 часа занимает много времени — плотность инсайтов и обнаруженных проблем высокая, и задача исследователя не утонуть в этих данных, правильно их приоритезировать.

• Долгий цикл исследования. На проведение исследования уходит не меньше месяца. Это поиск респондентов, ожидание выполнения задания, интервью, анализ.