Журнал продуктовых экспериментов
Ведёт гипотезы с условием опровержения и считает результат честно
Тема готова к старту: сузить до MVP и работать
Область и границы
четыре роли · четыре ответаКому больно — и можно ли этого человека спросить?
Продуктовая команда проверяет гипотезы и теряет их в переписке — курс сам живёт этим в лабах 1 и 5
Почему это не решается одним вызовом модели?
Формулировка гипотезы — текст, а вывод по ней — статистика: без расчёта значимости любое различие можно объявить победой. Автор гипотезы заинтересован в её подтверждении
Где должен появиться результат и что здесь необратимо?
Результат — решение по продукту: раскатить, откатить, продолжить. Раскатка необратима для пользователей
Что будет считаться успехом?
Гипотезы доходят до решения, а решений на шуме нет — задним числом эксперимент воспроизводится
Заинтересованный автор гипотезы: подгонка метрики, досрочная остановка, выборочные срезы до значимого результата
Снимают, выгружают своё, собирают у знакомых — доступ ни от кого не зависит
Гипотезы и результаты берутся из своего же проекта и проектов однокурсников. Для проверки статистики годятся сгенерированные прогоны с известным ответом
О чём тема
Гипотезы обычно живут в переписке и умирают там же: проверили, обсудили, забыли, через полгода проверяют снова. Система ведёт их как записи: формулировка, условие опровержения, метрика, срок. Когда эксперимент закончен, она считает результат и говорит прямо — различие есть или выборки не хватило. Отдельная работа — ловить подтасовку: подглядывание в незаконченный тест, смену метрики на ходу, деление выборки до значимого результата.
Зачем это людям
Довести гипотезу до решения и не дать выдать шум за победу.
Что предстоит выяснить
ответов здесь нетГотового решения в каталоге нет намеренно: тема задаёт область и границы, а что и как строить — работа команды. Это и защищают на приёмке.
Взять эту тему
Тему из каталога берёт любая команда, одобрение не требуется. Одну тему могут взять несколько команд — на Demo Day видно, насколько разошлись решения.