# Журнал продуктовых экспериментов

> БИЗНЕС · СРЕДНИЙ · тема по фильтру курса 17/20 — берите

Гипотезы обычно живут в переписке и умирают там же: проверили, обсудили, забыли, через полгода проверяют снова. Система ведёт их как записи: формулировка, условие опровержения, метрика, срок. Когда эксперимент закончен, она считает результат и говорит прямо — различие есть или выборки не хватило. Отдельная работа — ловить подтасовку: подглядывание в незаконченный тест, смену метрики на ходу, деление выборки до значимого результата.

**Зачем:** Довести гипотезу до решения и не дать выдать шум за победу.

## Что предстоит выяснить

- Что делает гипотезу проверяемой и как выглядит условие её опровержения
- Какой метрике верить, если их несколько и они расходятся
- Как ловить подглядывание и смену метрики на ходу
- Что делать с экспериментом, который нельзя остановить: сезон, разовое событие

**Область:** статистика, проверка эффекта, самопроверка, история решений

## Тема глазами курса

**Чей процесс:** Продуктовая команда проверяет гипотезы и теряет их в переписке — курс сам живёт этим в лабах 1 и 5

**Почему не решается одним вызовом модели:** Формулировка гипотезы — текст, а вывод по ней — статистика: без расчёта значимости любое различие можно объявить победой. Автор гипотезы заинтересован в её подтверждении

**Где появляется результат:** Результат — решение по продукту: раскатить, откатить, продолжить. Раскатка необратима для пользователей

**Что считается успехом:** Гипотезы доходят до решения, а решений на шуме нет — задним числом эксперимент воспроизводится

**Что будут атаковать:** Заинтересованный автор гипотезы: подгонка метрики, досрочная остановка, выборочные срезы до значимого результата

**Откуда данные (добывают сами):** Гипотезы и результаты берутся из своего же проекта и проектов однокурсников. Для проверки статистики годятся сгенерированные прогоны с известным ответом

### Оценка по фильтру: 17/20 — берите

- Чей процесс: 4/5 — Кому больно — и можно ли этого человека спросить?
- Своё поверх модели: 4/5 — Что останется от продукта, если убрать чужую модель?
- Действие: 4/5 — Продукт что-то меняет — или только показывает?
- Проверяемость: 5/5 — Чем меряется качество и что здесь будут атаковать?

> Тема курса «Системы искусственного интеллекта». Команда из четырёх ролей (Product/VO, AI Engineer, Delivery, Quality & Safety) реализует её за 16 недель, семь спринтов-лабораторных.