# Онлайн калькулятор проверки гипотез A/B-теста
Принимать решения на основе интуиции опасно; принимать их на основе чистых данных — путь к успеху. Калькулятор проверки гипотез (A/B-тест) — это незаменимый инструмент для аналитиков, маркетологов и исследователей, которым необходимо подтвердить, является ли разница между двумя группами статистически значимой или просто результатом случая. P-значение Финальный судья
Локально Без загрузки данных
Мгновенно Нативные графики
# Почему мы разделяем тесты на Конверсии и Средние значения?
В зависимости от характера вашего исследования метрика успеха будет меняться. Наш инструмент нативно поддерживает два наиболее широко используемых типа статистических тестов в индустрии.Тест пропорций (Конверсии)
Сравнивает проценты или показатели успеха между двумя группами.
- Идеально для маркетинга (Клики, Продажи, Подписки)
- Использует общее количество случаев (n) и успехи (x)
- Применяет Z-критерий для двух пропорций
Тест непрерывных средних
Сравнивает средние числовые значения между двумя группами.
- Идеально для среднего чека, времени на сайте или клинических испытаний
- Использует среднее (μ) и стандартное отклонение (σ)
- Применяет надежную нормальную аппроксимацию для выборок (Z/T)
# Как интерпретировать результаты: P-значение — ваш гид
Сердцем этого калькулятора является знаменитое P-значение. Это число сообщает вам вероятность получения таких наблюдаемых различий, если бы Нулевая гипотеза (утверждающая, что «обе группы равны») была верна.| Наблюдаемое P-значение | Практический смысл | Стандартное решение |
|---|---|---|
| Больше 0,05 | Разница мала по сравнению с дисперсией. Случай вполне может ее объяснить. | НЕ отвергать Нулевую гипотезу. Нет доказанного реального улучшения. |
| Меньше 0,05 | Крайне маловероятно, что случай вызвал такую разницу. Существует реальный эффект. | Отвергнуть Нулевую гипотезу. Вариант B лучше! |
| Меньше 0,01 | Свидетельства в пользу изменений подавляющие (99% уверенности). | Твердо отвергнуть. Огромный успех эксперимента. |
Коррекция для малых выборок
Если ваши группы обрабатывают менее 30 испытуемых, инструмент покажет предупреждение «Малая выборка». В этих пограничных сценариях классическая нормальная аппроксимация теряет точность; мы рекомендуем использовать точный t-критерий Стьюдента или инструменты Фишера.# Глоссарий A/B-тестирования
- Контрольная группа (A)
- Оригинальная версия или база, относительно которой вы будете оценивать свой эксперимент.
- Вариант (B)
- Новая модифицированная версия, от которой вы ожидаете улучшения метрик.
- Lift (Относительное улучшение)
- Процентное изменение показателей Группы B относительно базы Группы A.
- Уровень значимости (α)
- Порог ошибки, который вы готовы принять (обычно 5% или 0,05).