К содержимому
К лабораторным
Лаба 05/Спринт 5, Недели 11–12

Тестированиеи метрики

Вопрос спринта

Достигаем целей?

Ответить цифрами: North Star против цели, финальные evals против критериев успеха, система против нагрузки, продукт против атак. Спринт доказательств.

14 дней15 артефактов10 баллов4 роли
Сдача — PR от каждой роливетказаголовок PRlab5.md — версия для агента
01

МАРШРУТ ТВОЕЙ РОЛИ

Выбери роль — она запомнится и откроется сразу в следующих лабах. Клик по номеру шага отмечает его сделанным, прогресс сохраняется. Часы у шагов — твоё время на решения и проверку; генерацию агентом мы в них не считаем.

PRODUCT / VO

Приёмка по North Star

~7–10 часов на спринт

Ответственность

Отвечает за главный ответ спринта: достигли ли мы того, что обещали в лабе 1 — и что говорим об этом на Demo Day.

Замер North Star

2–3 часа

Цифра против цели — единственный честный ответ на вопрос «получилось ли».

  • North Star измерена тем способом, который записан в PRD
  • Факт против цели: попали, недотянули, промахнулись — с числом
  • Если способ замера пришлось менять — записано, почему
Сдаёшь:Замер North Star: факт против целидокумент·
Советы
  • Цифра против цели — единственный честный итог
  • Частично закрытая боль — это тоже результат
  • Демо решает главное — доделывай для демо
  • Историю пишет тот, у кого есть цифры
PRODUCT / VO
  • Замер North Star: факт против цели
    docs/north-star.md
  • Итоговая приёмка продукта
    docs/acceptance.md
  • Нарратив для Demo Day
    docs/demo-narrative.md
AI ENGINEER
  • Финальные метрики модели
    docs/ml-final-metrics.md
  • Записка: что реально дало прирост
    docs/experiments/lab5.md + ноутбук приложением
  • Фиксы последней мили
    ml/
  • Финальная документация AI
    docs/ml-documentation.md
DELIVERY
  • Отчёт нагрузочного
    docs/load-testing.md
  • Сценарии отказов
    docs/failure-scenarios.md
  • Релизная версия
    git tag + lockfiles
  • Отчёт надёжности: нагрузка, отказы, аптайм
    docs/reliability.md
QUALITY & SAFETY
  • Отчёт качества
    docs/quality/final-quality-report.md
  • Отчёт безопасности
    docs/quality/final-security-report.md
  • Прогон на релизе
    tests/evals/ (на теге)
  • Факты доверия для демо
    docs/quality/trust-facts.md
02

ГОТОВО — ЭТО КОГДА

Чек-лист — твой рабочий прогресс. DoD — те же критерии, которые видит автопроверка.

0/12
Доказательства собраны
К демо готовы
03

МАТЕРИАЛЫ К ЛАБЕ

Что понадобится по ходу спринта. Полный справочник курса — в разделе «Материалы».

EVALS
Финальные метрики и пороги
RED TEAM
Сценарии атак в CI
LANGFUSE
Качество на реальном трафике
ОЦЕНИВАНИЕ
Баллы агента и приёмка человеком
Все материалы курса

СПРИНТ 5 ГОТОВ К ЗАПУСКУ

Спринт доказательств: к его концу у команды есть цифры на каждый вопрос — достигли ли целей, где предел системы и почему продукту можно верить.