Фидбэк и аналитика как метод QA

Анализ фидбэка от пользователей и их поведения - это очень важная часть разработки софта. Вспомните, сколько боли пользователям в последние годы приносили необдуманные редизайны крупных сайтов - все эти #Дуроввернистену, откровенно убогий и нефункциональный Кинопоиск, тысячи их... Нормальные люди предварительно выкатывают крупные обновления, затрагивающие UX, на фокус-группы - именно это сейчас происходит с новым интерфейсом VK, например.

В разработке игр фокус-группы, UX-тестирование и встроенная на каждое движение игрока аналитика - важны ещё больше. Если для обычных приложений и сайтов существуют какие-то устоявшиеся каноны (например, в 99% прикладных программ мы ожидаем увидеть сверху какое-нибудь меню, где будет "Файл - Сохранить"), то игры - непредсказуемы. И это касается не только и не столько интерфейса, сколько игрового процесса. Вписать удовольствие от игрового процесса в какие-то рамки и каноны - невозможно, игра строится исключительно на чуйке и личном опыте гейм-дизайнера. И тут кроется самая опасная ловушка для игровых разработчиков, особенно начинающих - можно начать делать игру для себя, а не для аудитории. Проблема в том, что игровой разработчик - обычно человек весьма искушённый в играх и имеющий очень специфические вкусы. И закончиться такая разработка может тем, что в игру потом будет играть только сам автор + 1,5 задрота со схожим взглядом на мир.

Именно поэтому важно всегда ВСЕГДА собирать фидбэк целевой аудитории. Сделал демо - дай погонять тем, кто будет пользоваться этим софтом или играть в эту игру. Погоняли - подробно опроси их. Полезно для таких случаев иметь подготовленный вопросник, заостряющий внимание на потенциально проблемных моментах. Возможно, стоит дать выполнить пользователю несколько подготовленных сценариев (например, "купи 5 заклинаний" или там "добавь в документ таблицу", если говорить о софте) и посмотреть, насколько легко пользователь с этим справится. И, конечно, всегда кроме заданий и опросников надо дать высказаться человеку в свободной форме - возможно, вы пропускаете что-то очень простое и очевидное.

При этом нельзя полностью доверять всему, что наотвечает ЦА. В идеале надо записывать всё, что происходит на экране пользователя, чтобы у человека не было искушения наврать о простоте выполнения какого-то задания. Люди не любят показывать себя глупыми и могут не сказать, что искали чёртову кнопку полчаса. Самый продвинутый вариант - писать не только экран, но и лицо пользователя. В частности, так в своих фокус-группах делают Big Fish Games. Это позволяет следить за эмоциями игрока и находить не только ошибки по части интерфейса, игровой логики, но и по части повествования или визуального стиля (например, если пользователь справился со всем, но на видео у него кровоточат глаза, а лицо перекосило в гримасе ужаса - значит с дизайном что-то явно не так).

Тем не менее, фокус-группы не могут выявить всех проблем, их тяжело набирать, а у маленьких команд может просто не быть возможности организовать нормальное фокус-тестирование. В этом случае остаётся полагаться только на встроенную аналитику (которая нужна, даже если у вас есть офигеннейшие фокус-группы). Если это не влияет негативно на производительность - то надо собирать статистику буквально по каждому значимому действию пользователя. Если влияет - то только по ключевым в финальной версии, и всё равно по каждому - в ранней. Существует множество готовых решений для лёгкого встраивания аналитики почти на все случаи жизни. Во времена расцвета Flash было невозможно представить уважающего себя разработчика, который не имел бы десятка самых разных графиков: вот среднее время прохождения уровня, вот динамика набора очков игроками, вот количество игроков, прошедших каждый из уровней... На основе этих графиков разработчики могли оперативно находить проблемы в своих играх - если график количества игроков, прошедших уровни, резко проваливался, а не снижался плавно - значит, с уровнем что-то не так, надо уменьшать сложность. Если график был слишком плоский - значит, уровни надо усложнять, нет соревновательности. Если график вдруг растёт (а уровни проходятся линейно) - значит в игровой логике где-то есть здоровенная дырень! Сейчас подобная ситуация наблюдается на рынке мобильных игр - там тоже полно средств аналитики, которые помогают улучшать пользовательский опыт. У меня нет статистики по использованию аналитики в играх для Steam, но такой раздел как Early Access - это само по себе показательно. Некоторые игры висят там годами, потому что никому не хочется выпускать неиграбельное говно, а без фидбэка игроков именно оно и получится с высокой вероятностью.

Особняком стоят соцсети - в играх и приложениях для них гораздо проще получить живой фидбэк. Зачастую, у игры/приложения есть своя группа, куда можно сообщить о проблеме. Разработчик даже может напрямую написать конкретному человеку, если где-то в недрах аналитики или логах сервера заметит странное поведение - благо имеет доступ к айдишникам пользователей, да и сами пользователи не будут удивлены, что их вычислили. Именно фидбэк от пользователей был главным поставщиком полезной информации, когда мы разрабатывали "Мир слов".

Но при всём богатстве средств и способов сбора информации, никогда не стоит забывать делать кнопочку "Сообщить о проблеме". Это, конечно, увеличит поток информации, которую будет необходимо обработать, но также увеличит и шансы не пропустить что-то критическое.