1. Конверсии по сегментам и общая конверсия

Конверсия = leads / visits.

Период A

mobile: 90 / 1000 = 0.09 = 9.0%

desktop: 170 / 1000 = 0.17 = 17.0%

Общая: (90 + 170) / (1000 + 1000) = 260 / 2000 = 0.13 = 13.0%

Период B

mobile: 900 / 9000 = 0.10 = 10.0%

desktop: 180 / 1000 = 0.18 = 18.0%

Общая: (900 + 180) / (9000 + 1000) = 1080 / 10000 = 0.108 = 10.8%

Изменения в процентных пунктах (п.п.)

mobile: 10.0% − 9.0% = +1.0 п.п.

desktop: 18.0% − 17.0% = +1.0 п.п.

Общая: 10.8% − 13.0% = −2.2 п.п.

Почему общая метрика упала, хотя оба сегмента улучшились

Оба сегмента выросли на +1.0 п.п., но радикально изменился состав трафика. В периоде A мобайл и десктоп были по 50% (1000/1000), а в периоде B мобайл составил 9000/10000 = 90%, десктоп — 10%. Мобайл имеет гораздо более низкую конверсию (9–10%), чем десктоп (17–18%). Переток трафика в низкоконверсионный сегмент снизил средневзвешенную конверсию сильнее, чем её подняли сегментные улучшения. Это классический эффект Симпсона: агрегат упал при улучшении каждой группы.

2. Конверсия B при долях трафика A и разложение эффекта

Фактическая конверсия B: 10.8%.

Конверсия B при долях трафика периода A (50% mobile, 50% desktop), но с сегментными ставками B:

0.5 × 10.0% + 0.5 × 18.0% = 5.0% + 9.0% = 14.0%.

Сравнение с фактической B: 14.0% против 10.8%, то есть +3.2 п.п. — столько «теряется» из-за сдвига состава трафика.

Разложение общего изменения 13.0% → 10.8% (−2.2 п.п.)

Считаем по шагам.

Эффект состава трафика (доли B, ставки A):
0.9 × 9.0% + 0.1 × 17.0% = 8.1% + 1.7% = 9.8%.
Изменение от A: 9.8% − 13.0% = −3.2 п.п.

Эффект изменения сегментных ставок (доли B, ставки B минус доли B, ставки A):
10.8% − 9.8% = +1.0 п.п.
(Проверка: 0.9 × 1.0 п.п. + 0.1 × 1.0 п.п. = 1.0 п.п.)

Итого: −3.2 + 1.0 = −2.2 п.п., что совпадает с фактическим изменением.

Альтернативная декомпозиция (сначала ставки, потом состав) даёт тот же итог, но иначе делит взаимодействие: ставки при долях A дают 14.0% (+1.0 п.п.), затем состав при ставках B даёт 10.8% − 14.0% = −3.2 п.п. В данном случае взаимодействие равно нулю, потому что оба сегмента изменились одинаково (+1.0 п.п.), поэтому порядок разложения не влияет на результат.

Итог: падение агрегата на −2.2 п.п. = −3.2 п.п. от состава трафика (сдвиг в мобайл) +1.0 п.п. от роста сегментных конверсий.

3. Оценка утверждения «редизайн ухудшил продажи, поэтому его нужно немедленно откатить»

Что таблица позволяет утверждать

Агрегированная конверсия в B ниже, чем в A: 10.8% против 13.0% (−2.2 п.п.).

Это снижение полностью объясняется сдвигом состава трафика в сторону мобайла; при одинаковом составе трафика конверсия B была бы 14.0%, то есть выше A на +1.0 п.п.

В каждом сегменте конверсия в B выше, чем в A, на +1.0 п.п. (mobile 9%→10%, desktop 17%→18%).

Число лидов выросло: 260 → 1080 (в 4.15 раза), но и визиты выросли в 5 раз (2000 → 10000).

Чего таблица не позволяет утверждать

Что именно «редизайн» вызвал изменения: это не рандомизированный эксперимент, периоды различаются во времени, и вместе с редизайном могли измениться источники трафика, сезонность, маркетинг, качество лидов, состав аудитории внутри сегментов.

Что редизайн «ухудшил продажи»: агрегатное падение — это эффект состава, а не ухудшения сегментных ставок; в каждом сегменте ставки выросли.

Что нужно «немедленно откатить»: откат вернул бы старые сегментные ставки (9% и 17%) и, при текущем составе трафика (90% мобайл), дал бы 0.9 × 9% + 0.1 × 17% = 9.8%, то есть хуже фактических 10.8%. Откат на основе агрегата был бы контрпродуктивен.

О статистической значимости: без расчёта (и без данных о дисперсии) нельзя утверждать, что +1.0 п.п. в каждом сегменте или −2.2 п.п. в агрегате статистически значимы. Мы этого не вычисляли.

Какие дополнительные данные нужны

Данные о том, что ещё менялось между периодами: источники/каналы трафика, кампании, сезонность, цены, ассортимент, качество лидов (конверсия лида в продажу, а не только lead rate).

Разбивка внутри сегментов (устройство, гео, новый/повторный пользователь), чтобы проверить, не изменился ли состав внутри mobile и desktop.

Рандомизированный A/B-тест (или квазиэкспериментальный дизайн с контролем), чтобы отделить эффект редизайна от времени и состава.

Данные о выручке/продажах, а не только о лидах: «продажи» в утверждении — это не то же самое, что leads.

Размеры выборок и дисперсия для расчёта доверительных интервалов и значимости.

Вывод по утверждению: таблица не поддерживает ни тезис «редизайн ухудшил продажи» (в сегментах ставки выросли, агрегат упал из-за состава), ни рецепт «немедленно откатить» (откат при текущем составе дал бы 9.8% против 10.8%). Корректная формулировка: наблюдаемое падение агрегата объясняется сдвигом трафика в мобайл; для вывода о причинном эффекте редизайна нужен контролируемый эксперимент и данные о продажах, а не только о лидах.
