Симулятор A/B-тестов - Karpov.Courses
Курс Симулятор A/B-тестов за 38 500 ₽ от школы Karpov.Courses. Срок обучения - можно уточнить в школе. Онлайн-школа Karpov.Courses предлагает рассрочку на обучение с ежемесячным платежом - 3 208 ₽/ мес. Купите курс и измените свою жизнь.
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования, а также изучим основы статистики, которых будет достаточно для прохождения курса.
Узнаем, как появилась идея проверять гипотезы. Создадим собственный критерий принятия решений. Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Научимся подбирать оптимальные параметры для запуска эксперимента. Определять продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Разберёмся как проверять корректность дизайна. Узнаем, зачем нужно проводить синтетические A/A и A/B эксперименты на исторических данных.
Познакомимся с методом бутстрэп. Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике. Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Выбрать метрику для эксперимента не всегда просто. Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Иногда для решения одной проблемы выдвигается сразу несколько гипотез, одновременная проверка которых влияет на дизайн эксперимента. Познакомимся с техниками множественного тестирования и параллельным проведением большого числа экспериментов.
Гипотез становится всё больше, и нам не хватает наблюдений, чтобы проверять их все одновременно. Обсудим, когда можно использовать пользователей одновременно в нескольких экспериментах и как это делать.
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми. Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Вспомним пройденные темы и структурируем полученные знания для применения их в реальных задачах. Обсудим проблему подглядывания в результаты до окончания эксперимента.
Финальный тест
