МАТЕРИАЛЫ КУРСА
СИИ • НАВИГАЦИЯ

Лаборатория 5: Тестирование и сдача метрик

Комплексное тестирование системы, сбор метрик качества, подготовка к финальной демонстрации

~15 МИН ЧТЕНИЯ
ОБНОВЛЕНО НЕДАВНО

🧪 Лабораторная 5: Тестирование и сдача метрик

📊 Sprint Dashboard

7 дней
Короткий спринт
Все тесты
Unit + E2E + Load
Метрики AI
Quality + Performance
10 баллов
Финальная оценка

Основной вопрос спринта

"Достигаем ли мы целей? Готовы ли к Demo Day?"

Команда должна доказать, что система работает стабильно, AI модель соответствует требованиям качества, UX отполирован, и всё готово к публичной демонстрации.

🎯 Задачи по ролям

SYSTEM ARCHITECT / PRODUCT OWNER

Анализ целей, корректировка требований и итоговые отчеты

Ответственность

Проверить достижение целей из Лабы 1, проанализировать результаты тестирования, скорректировать требования и подготовить план доработок для финального спринта.

Итоги тестов

Время: 2-3 часа
Задачи:
  • Анализ результатов всех тестов
  • Сравнение с целевыми метриками
  • Выявление критических проблем
  • Приоритизация исправлений
Результат:docs/testing-report.md

Корректировка требований

Время: 2-3 часа
Задачи:
  • Обновление требований после тестов
  • Корректировка DoD критериев
  • Пересмотр North Star Metric
  • Документация изменений
Результат:docs/requirements-v3.md

Анализ целей

Время: 2-3 часа
Задачи:
  • Проверка достижения use-cases
  • Валидация business метрик
  • Сравнение план vs факт
  • Выводы и рекомендации
Результат:docs/goals-analysis.md

План доработок

Время: 1-2 часа
Задачи:
  • Список доработок до Demo Day
  • Приоритизация задач
  • Распределение по ролям
  • Timeline до презентации
Результат:docs/improvements-plan.md

Итоговые артефакты

SA/PO
docs/testing-report.md
docs/requirements-v3.md
docs/goals-analysis.md
docs/improvements-plan.md
FULLSTACK
docs/ux-testing-report.md
tests/api/ + reports/
Bug fixes в frontend/ + backend/
Оптимизированный UI
MLOPS
.github/workflows/quality-gates.yml
monitoring/grafana/dashboards/
tests/performance/ + reports/
docs/scaling-strategy.md
AI ENGINEER
ml/experiments/ab_tests/ + reports/
ml/metrics/ + reports/quality-metrics.md
ml/prompts_final/ + changelog.md
reports/ai-final-report.md

🎯 Definition of Done (DoD)

Критерии тестирования

Все use-cases протестированы вручную
Unit тесты coverage > 70%
Integration тесты проходят
Load тесты показывают acceptable performance
Все критические баги исправлены

⏱️ График работы (7 дней)

Неделя интенсивного тестирования

Дни 1-2: Тестирование

  • • SA/PO: Анализ результатов, корректировка требований
  • • Fullstack: UX тестирование, API тестирование
  • • MLOps: CI/CD гейты, performance тесты
  • • AI Engineer: Запуск A/B тестов, сбор метрик

Дни 3-4: Исправления и оптимизация

  • • SA/PO: План доработок, goals analysis
  • • Fullstack: Исправление багов, оптимизация UI
  • • MLOps: Grafana дашборды, автомасштабирование
  • • AI Engineer: Оптимизация промптов, анализ A/B

Дни 5-7: Финализация и отчеты

  • • Все роли: Написание итоговых отчетов
  • • Создание Pull Request'ов
  • • Peer review артефактов
  • • Подготовка к Demo Day

📋 Чек-лист для самопроверки

✅ Перед созданием PR проверьте

🧪 Тестирование

Все use-cases работают
Тесты проходят > 70%
Load тесты OK
Критические баги fixed

📊 Метрики

A/B тесты проведены
AI качество измерено
Grafana работает
Отчеты готовы

🎤 Demo Day

Система стабильна
Презентация готова
Demo скрипт есть
Документация полная

🔗 Полезные ссылки


ВСЕ МАТЕРИАЛЫ