Кейс "АЭРО" и Hoff: зачем бизнесу иерархия метрик и как ее создать

В крупных компаниях с большим количеством метрик сложно понять, как они связаны между собой и как изменения в одной метрике влияют на другие. Отсутствие единой иерархии метрик затрудняет принятие обоснованных решений и снижает эффективность работы. Как выстроить такую иерархию рассказывают эксперты разработчика АЭРО.

Метрики всегда зависят друг от друга: например, прибыль рассчитывается как разница между доходами и расходами. В больших компаниях, где их количество исчисляется сотнями, таких взаимосвязей много и они находятся на разных уровнях. Допустим, выручка интернет-магазина зависит от емкости выкупа и входящего оборота, который, в свою очередь, формируется от количества покупателей и средней выручки на клиента. Последняя складывается из частоты покупок, среднего чека и конверсии. И так далее.

Если нарисовать эти зависимости, получится иерархия метрик - система, которая связывает их воедино и позволяет увидеть, как нижний уровень влияет на верхний. Но далеко не у всех компаний система зафиксирована, что мешает принимать централизованные решения, поскольку в этом случае нет общей картины, на которую может опираться каждая из команд.

Зачем нужна иерархия метрик

Целостное понимание продукта

Организовав метрики, мы можем увидеть продукт как единую систему, а не множество разрозненных функциональных зон. Каждая команда будет понимать, как ее действия влияют на конечную цель, и сможет синхронизировать усилия.

Обоснованное принятие решений

Работа над продуктом подразумевает постоянное внесение каких-то изменений, иными словами, фич. Идей по их созданию всегда больше, чем возможностей разработки, поэтому необходимо понять, какие фичи принесут наилучший финансовый результат для бизнеса при наименьших затратах. Иерархия метрик позволяет сделать такой рассчет и принять обоснованное решение о ее внедрении.

Быстрое реагирование на проблемы

Система помогает выделить требующие постоянного мониторинга показатели, как следствие, вовремя найти причины возникающий проблем. Например, если нам известно, что средний балл в отзывах отражается на продажах, то мы начинаем следить за этой метрикой. А значит, можем исправить ситуацию, не дожидаясь падения продаж.

Улучшение коммуникации

Продуктовым командам проще общаться, когда у них есть единое понятийное поле. В частности, это помогает четко определить зоны ответственности, найти пересечения и "слепые зоны". В практике был случай, когда один продакт-менеджер отвечал за корзину, второй - за чекаут, но между ними стоял этап авторизации: чтобы сделать заказ, нужно было залогиниться. У этого него не было ответственных, поэтому, когда произошел небольшой сбой и 10% пользователей не могли авторизоваться, никто не понял, что случилось.

Иерархия метрик в Hoff: первые этапы

Компании требовалась консультация по построению отдела продуктовой аналитики в e-commerce, и "АЭРО" порекомендовали разработать иерархию метрик. При этом в Hoff была довольно подробная факторная модель с четырьмя ключевыми зонами: трафик, конверсия, средний чек и выкуп. Это неплохой подход, но его было недостаточно: в активно растущей компании с большим числом продуктовых команд и пересекающихся зон ответственности стало сложно синхронизировать действия.

На основе уже имеющейся и привычной для команды факторной модели собрали облако метрик, которые необходимо отслеживать:

 

Нужно было определить, на какую ключевую бизнес-метрику влияет продуктовая команда. Ей оказалась конверсионная воронка.

Разработка взаимосвязей

Затем мы выявляли отношения между метриками и разводили их по разным уровням. Очень важно, чтобы все зависимости рассчитывались одинаково. Каждую из ветвей иерархии свели к своей целевой метрике. Получилось так:

Выглядит довольно внушительно, хотя это далеко не все метрики бизнеса, а только зона конверсионной воронки внутри продукта.

Проработка взаимосвязей похожа на конструктор, где методично подбирается каждый кусочек. На данном этапе часто обнаруживаются "слепые зоны", и этот кейс не исключение. Как и во многих интернет-магазинах, для оформления заказа в Hoff нужно ввести данные: адрес, контактный номер и так далее. Но у пользователей, которые ранее уже что-то покупали, эти данные подтягиваются автоматически из предыдущих заказов. Получается, чтобы оценить удобство заполнения в процессе чекаута, нужно отдельно анализировать пользователей, которые делают заказ впервые. А менеджеры смотрели всех вкупе, поэтому не видели реальной картины.

 

Математическая модель

Каждая продуктовая фича влияет на какую-то метрику, но она может находиться далеко от ключевой метрики бизнеса - выручки. Соответственно, мы не видим, как именно изменение фичи на ней отразится.

Менеджеры Hoff не могли объективно оценить удобство заполнения данных на чекауте. При вводе адреса доставки на сайте использовался сервис по нормализации адресов: пользователю предлагались варианты в выпадающем списке. Проблема в том, что в реестре есть не все данные, например, в него не всегда оперативно добавляют новостройки. А если адрес отсутствует в списке, пользователь не может оформить заказ.

Сам сервис по нормализации утверждал, что в реестре есть 99,9% адресов, то есть на новостройки и небольшие дома в поселках приходилось всего 0,1%. Но в структуре аудитории Hoff этот процент вырастал до пяти, поскольку профиль компании - мебель и товары для дома, и среди ее клиентов много тех, кто недавно купил квартиру и сейчас ее обустраивает.

Однако, если добавить возможность заполнить адрес вручную, чекаут будет на пять процентов успешнее. Бизнесу этот показатель ни о чем не говорит, чтобы с ним работать, его нужно конвертировать в деньги. На помощь приходит математическая модель: с ней мы можем посчитать, сколько прибыли принесут эти пять процентов. У нас получилось несколько десятков миллионов рублей в квартал. Ради такого стоит внести изменения. 

Итог

Увеличение прибыли благодаря корректировке заполнения адреса - лишь один из эффектов, которые дала Hoff иерархия метрик. Продуктовая команда получила общую картину того, как продукт влияет на метрики бизнеса. У нее появилась прозрачная схема для поиска болей и точек роста. Теперь они всегда могут напрямую рассчитать, как изменение той или иной фичи повлияет на общую конверсию, а от нее - на выручку компании.

"Благодаря выстроенной иерархии в Hoff выросла скорость реагирования на проблемы через призму метрик: мы можем предвидеть и оценить влияние любых изменений в продукте на бизнес заранее. Упростилась коммуникация между командами. В итоге мы получили рабочий инструмент для приоритизации задач и развития бизнеса, который точно стоил всех усилий по его разработке", - рассказывает руководитель группы продуктовой аналитики Hoff Татьяна Бубнова.