Большое количество данных не гарантирует правильного решения. Можно идеально владеть показателями, но сделать неверный вывод. Более того, точная цифра иногда даже опаснее приблизительной оценки: ей проще доверять. В этот момент метрика перестает быть способом измерения и превращается в доказательство того, чего она на самом деле доказать не может.

Цифра отвечает только на один вопрос

У любого показателя четкие границы применения. Количество заявок показывает количество заявок, но не говорит, сколько из них превратится в продажи. CTR показывает долю пользователей, которые перешли по ссылке, но не определяет заинтересованность этих пользователей в продукте. Выручка показывает денежный результат, но не объясняет, что его сформировало.

В чужих отчётах это очевидно. В собственной работе — нет: когда метрика растёт, возникает желание связать её с успехом бизнеса. Увеличилось количество лидов, значит, маркетинг работает лучше. Вырос CTR — это реклама стала эффективнее. Каждое из этих утверждений может оказаться верным, но ни одно не следует из цифры автоматически.

У этих ошибок есть порядок. Чем дальше показатель от денег, тем очевиднее его ограничения: просмотрами всерьёз не отчитываются за выручку. Чем ближе — тем убедительнее выглядит подмена, потому что метрика уже измеряется в рублях и внешне неотличима от результата. Поэтому дальше показатели идут в порядке приближения к деньгам, и распознать подмену с каждым шагом труднее.

Охват показывает внимание, а не желание купить

Начать проще всего с метрик, которые измеряют внимание. Большой охват, просмотры и множество реакций выглядят убедительно, особенно если показатели заметно выше результатов предыдущей кампании. Однако охват отвечает только на вопрос о количестве контактов с сообщением. Он не говорит, сколько людей заинтересовались продуктом, сочли его подходящим для себя и действительно готовы покупать.

Вирусные рекламные кампании часто привлекают много внимания аудитории, но если большую часть аудитории заинтересовал формат ролика, а не продукт, бизнес получит то, что обещает метрика: большое количество просмотров. И это не означает большое количество покупателей.

Высокий охват может быть полезным показателем распространения сообщения, но введёт в заблуждение, если его будут использовать как замену коммерческому результату.

Высокий CTR ничего не гарантирует

С кликабельностью похожая история. Высокий CTR не гарантирует качественного трафика. Пользователь может кликнуть именно из-за высокой привлекательности рекламного сообщения, но без потребности приобрести продукт. В результате показатель кликабельности растет, а конверсия в целевое действие снижается.

Реклама лучше привлекает внимание, но хуже работает на конечный результат.
CTR — хорошая метрика для оценки рекламной коммуникации. Но из этого следует и неприятное: рост CTR при неизменной конверсии — новость нейтральная, а рост CTR при падающей конверсии — плохая, хотя в отчёте обе выглядят одинаково хорошо.

Заявок может стать больше, а прибыли не прибавится

С количеством заявок ситуация уже сложнее, потому что лид находится ближе к выручке. Клиент оставил контакты, запросил предложение или написал менеджеру, и логично ожидать роста продаж. Однако между обращением и покупкой стоит качество самого спроса.

Пример. Компания изменила рекламное сообщение и получила на 40% больше обращений. Маркетинг показывает выполнение KPI, но при этом новые заявки хуже конвертируются в сделки, потому что клиенты не готовы к покупке сейчас.
Здесь одна часть бизнеса показывает улучшение показателя, другая — ухудшение результата, и формально правы обе. Маркетинг действительно привёл больше лидов. Количество заявок было принято за показатель качества спроса, хотя таким показателем оно не является.

Метрика фиксирует только один участок пути клиента, тогда как бизнес зарабатывает не на заявках, а на состоявшихся сделках.

Почему особенно легко ошибиться с ROAS

Самые коварные показатели — непосредственно связанные с деньгами. Может показаться, что пространство для интерпретаций исчезает: если на каждый рубль рекламных расходов приходится пять рублей выручки, значит, реклама работает хорошо. Но окупаемость расходов на рекламу не отвечает на один из ключевых вопросов: произошла бы эта продажа без рекламы?

Представим клиента, который уже знает бренд, несколько дней изучает сайт и готов оформить заказ. В последний момент он видит рекламное объявление, переходит по нему и покупает. В рекламной системе продажа будет связана с рекламным контактом. Но это не означает, что именно реклама создала дополнительный спрос.
Высокий ROAS может быть реальным и одновременно недостаточным основанием для увеличения бюджета. Он показывает результат в рамках выбранной модели атрибуции, но не обязательно показывает дополнительный эффект рекламы.
Приписать продажу каналу и создать продажу — не одно и то же.

Что обманывает за пределами рекламы

Медийные показатели обманывают заметнее всего, но не они самые опасные. Две конструкции работают тише и встречаются в любом отчете, включая финансовый.
Среднее по разнородной аудитории. Средний чек, средний срок сделки, средний доход с клиента. Если клиенты делятся на две несхожие группы — скажем, малый бизнес с быстрыми дешtвыми покупками и крупные заказчики с долгим циклом, — среднее не описывает ни одну из них. Оно описывает несуществующего клиента, расположенного ровно между ними, и решения, принятые под него, не подойдут ни тем ни другим. Хуже того, динамика среднего неоднозначна в самом простом случае: средний чек, выросший на 15%, означает либо рост цен, либо всего лишь уход части мелких клиентов. Цифра одна, выводы противоположные, и по ней самой различить их нельзя.

Показатель, посчитанный на выживших. Удовлетворённость и NPS измеряются на тех, кто остался: те, кого продукт не устроил, до опроса обычно не доходят. Отсюда типичная и долго не замечаемая картина, когда удовлетворённость держится на высоком уровне, а отток растёт — недовольные не портят оценку, они просто уходят и перестают отвечать. Тот же эффект даёт общий отток в растущей компании: молодые когорты многочисленнее старых, и сводная цифра выглядит лучше, чем поведение любой отдельной когорты.

В обоих случаях показатель не врёт. Он честно отвечает на вопрос про тех, кто попал в выборку. Проблема в том, что решение принимается про всех.

Особенно опасно смотреть только на то, что выросло

Внимание руководства почти автоматически притягивается к положительной динамике.

Если охват вырос на 70%, это заметно. Если стоимость лида снизилась на 20%, это выглядит как улучшение. Если количество заявок увеличилось в полтора раза, возникает желание объяснить, благодаря чему команда добилась такого результата.
У этой склонности есть следствие, которое накапливается годами. Разбор запускает упавшая цифра, выросшая запускает поздравления. Значит, ошибка в расчётах, из-за которой показатель выглядит хуже, будет найдена за день, а ошибка, из-за которой он выглядит лучше, может прожить в отчётности сколько угодно. Никто никого не обманывает — просто хорошие новости проверяются реже плохих, и система отчетности со временем смещается в сторону оптимизма сама собой, без чьего-либо умысла.

У каждой метрики есть парная

Почти у каждого показателя есть парный — тот, которым за него платят. Читать их нужно только вместе.

Количество заявок — с конверсией из заявки в сделку. Стоимость лида — со средним чеком по этим лидам. Охват — с частотой контакта и долей релевантной аудитории. ROAS — с долей новых клиентов в выручке. Скорость обработки обращений — с долей ошибок. Конверсия сайта — с объёмом трафика: она почти всегда растёт, если сузить верх воронки, то есть ровно тогда, когда бизнес сжимается.

Правило из этого следует простое: показатель не выносится в отчёт в одиночку. Пара нужна не ради полноты картины. Она нужна потому, что улучшение одной величины за счет другой выглядит в отчёте точно так же, как настоящее улучшение, и различить их по одной цифре невозможно в принципе.

Метрика становится опасной, если превращается в цель

Как только показатель становится главным KPI, сотрудники начинают оптимизировать уже его.

Если главным показателем становится CTR, команда будет искать формулировки, которые заставляют кликать. Если оценивать канал исключительно по окупаемости расходов на рекламу, бюджет может постепенно смещаться в сторону аудитории, которая и без того была готова купить.

При этом исходная бизнес-цель могла быть другой. Компании нужна прибыль, а не лиды. Если промежуточный показатель превращается в конечную цель, он начинает отрываться от первоначального смысла.

Как смотреть на метрики

Метрика показывает динамику. Она не обязана объяснять ее причину и тем более не обязана доказывать экономический эффект.

На практике это сводится к трём вопросам к любой цифре в отчёте. На каком участке пути клиента она стоит. Какой показатель с ней в паре. И что должно было бы произойти, чтобы она выросла без всякой пользы для бизнеса. Третий вопрос самый неудобный, потому что ответ на него почти всегда существует — и обычно описывает то, что уже происходит.

Самый полезный вопрос к любой цифре звучит не «выросла она или снизилась?», а «какой вывод мы вправе сделать из этого изменения — и какой уже будет лишним?» Эта граница и отделяет работу с данными от работы с иллюзией контроля.