1. Конверсии по сегментам и общая

Конверсия = leads / visits.

Период	Сегмент	Visits	Leads	Конверсия	Доля трафика
A	mobile	1000	90	90/1000 = 9,0%	1000/2000 = 50%
A	desktop	1000	170	170/1000 = 17,0%	1000/2000 = 50%
A	всего	2000	260	260/2000 = 13,0%	100%
B	mobile	9000	900	900/9000 = 10,0%	9000/10000 = 90%
B	desktop	1000	180	180/1000 = 18,0%	1000/10000 = 10%
B	всего	10000	1080	1080/10000 = 10,8%	100%

Изменения в процентных пунктах:

mobile: 10,0% − 9,0% = +1,0 п.п.;

desktop: 18,0% − 17,0% = +1,0 п.п.;

общая конверсия: 10,8% − 13,0% = −2,2 п.п.

Почему общая метрика упала, хотя оба сегмента выросли: общая конверсия — это взвешенное среднее по долям трафика. В периоде A доли были 50/50, а в B — 90/10 в пользу mobile. Mobile имеет более низкую конверсию в обоих периодах: 9% и 10% против 17% и 18% у desktop. Поэтому рост доли mobile с 50% до 90% перевесил рост конверсии внутри каждого сегмента. Это классический эффект состава / парадокс Симпсона.

Проверка взвешенным средним:

A: 0,5×9% + 0,5×17% = 4,5% + 8,5% = 13,0%;

B: 0,9×10% + 0,1×18% = 9,0% + 1,8% = 10,8%.

2. Конверсия B при долях трафика A и разложение

Если взять сегментные конверсии периода B, но доли трафика периода A — 50% mobile и 50% desktop:

0,5×10% + 0,5×18% = 5,0% + 9,0% = 14,0%.

Фактическая конверсия B = 10,8%. То есть при долях A и ставках B было бы 14,0%, а фактически получилось 10,8%; фактическая B ниже на 3,2 п.п. из-за того, что состав трафика стал хуже — сдвинулся в сторону более низкоконверсионного mobile.

Разложение изменения общей конверсии A → B:

Эффект сегментных ставок: при долях A и ставках B получаем 14,0%; было 13,0%; эффект = 14,0% − 13,0% = +1,0 п.п.

Эффект состава трафика: фактическая B 10,8% минус B при долях A 14,0% = −3,2 п.п.

Итого: +1,0 − 3,2 = −2,2 п.п.

Альтернативная проверка: при ставках A и долях B было бы 0,9×9% + 0,1×17% = 8,1% + 1,7% = 9,8%. Тогда эффект состава = 9,8% − 13,0% = −3,2 п.п., а эффект ставок = 10,8% − 9,8% = +1,0 п.п. Результат тот же.

3. Оценка утверждения про «редизайн ухудшил продажи»

Таблица позволяет утверждать только описательно:

общая конверсия в лиды в периоде B ниже на 2,2 п.п.;

конверсия внутри каждого сегмента в B выше на 1,0 п.п.;

общее падение объясняется сдвигом состава трафика в сторону mobile: доля mobile выросла с 50% до 90%;

в таблице есть лиды, а не продажи; отождествлять лиды с продажами нельзя без дополнительного допущения.

Чего таблица не позволяет утверждать:

что именно редизайн вызвал падение общей конверсии;

что редизайн ухудшил продажи;

что нужен немедленный откат именно из-за причинного эффекта редизайна;

что различия статистически значимы — здесь не проводился расчет значимости, и делать такой вывод нельзя.

Это два периода «до/после», а не рандомизированный эксперимент. Между периодами могли измениться состав трафика, источники, кампании, сезонность, типы пользователей, устройство/ОС, качество лидов и другие факторы. Таблица показывает структуру и арифметику, но не идентифицирует причинный эффект редизайна.

Для причинного вывода нужны дополнительные данные: рандомизированное A/B-тестирование или контрольная группа; корректное назначение exposure; разбивка по источникам трафика, кампаниям, географии, устройствам/ОС, новым/возвращающимся пользователям; время и сезонность; изменения логирования; качество лидов; последующие квалификация и продажи/выручка; объемы и расчеты неопределенности/значимости. Без этого утверждение «редизайн ухудшил продажи, поэтому нужно немедленно откатить» из таблицы не следует.
