--- theme: sii-course highlightTheme: github transition: slide transitionSpeed: default --- # Модели и данные: выбор без хайпа **От "возьму ChatGPT" к инженерным решениям** **Лекция 3 • СИИ • ВолгГТУ САПРиПК • 2025** _Правильная модель + качественные данные = надежный продукт_ Note: Сегодня развенчиваем миф "возьму GPT-4 и решу все задачи". Научимся выбирать модели по критериям, работать с данными как инженеры, а не как "собиратели хайпа". В 2025 году умные команды экономят ресурсы, выбирая нужный инструмент под конкретную задачу. --- ## Модель ≠ продукт (повторяем!)

### 🤖 **Ошибки новичков** - "Возьмем GPT-4 для всего" - Модель = решение проблемы - Больше параметров = лучше - Забыли про данные

### ⚙️ **Инженерный подход** - Модель под задачу - Baseline первым делом - Данные > алгоритм - **TCO и эксплуатация**

 💰 Reality check: В production большинство проблем — это данные, интеграция и мониторинг, а не "слабая модель" 

Note: В индустрии основная боль — не в том, что модель недостаточно умная, а в том, что данные плохие, интеграция хрупкая, а мониторинг отсутствует. --- ## Революция SLM: маленькие модели большого будущего

### 🚀 **Small Language Models (SLM) — тренд #1 в 2025** **MIT Technology Review** назвал SLM одной из 10 прорывных технологий 2025 года **Размер:** от 1M до 30B параметров vs 175B+ у LLM

### ⚡ **Преимущества SLM** - **Скорость:** быстрее обучение и инференс - **Экономия:** рынок SLM $0.93B → $5.45B к 2032 (CAGR 28.7%) - **Экология:** в разы меньше энергопотребления - **Edge deployment:** работают на смартфонах

### 🎯 **Топ SLM 2025** - **Phi-4** (Microsoft) — математика и рассуждения - **Llama 3.2 1B/3B** (Meta) — edge устройства - **Gemma2 4B** (Google) — мультимодальность - **Qwen2.5 1.5B** — мультиязычность

Note: SLM — это не "урезанные LLM", а специально спроектированные модели для конкретных задач. Microsoft's Phi-4 превосходит гораздо большие модели в математических рассуждениях. --- ## SLM vs LLM: когда что выбирать

🎯 SLM — когда выбирать

Узкая задача: чат-бот поддержки, анализ отзывов
Edge deployment: мобильные приложения
Приватность: локальная обработка данных
Скорость: real-time обработка
Бюджет: стартапы, прототипы

🧠 LLM — когда выбирать

Универсальность: multi-domain задачи
Сложное рассуждение: research, анализ
Богатый контекст: длинные документы
Креативность: writing, brainstorming
Zero-shot: новые задачи без примеров

 📊 **Тренд 2025:** B2B компании переходят на SLM + fine-tuning вместо generic LLM 

Note: Правило: если задачу можно описать в 1-2 предложениях — попробуйте SLM. Если нужна "магия" и непредсказуемость — LLM. --- ## Multimodal AI: новый стандарт 2025 ```mermaid graph LR A["📝 Text"] --> D["🧠 Multimodal Model"] B["📸 Image"] --> D C["🎵 Audio"] --> D E["🎥 Video"] --> D D --> F["🎯 Unified Understanding"] F --> G["📱 Natural Interaction"] style D fill:#8b5cf6,color:#fff,stroke-width:3px style F fill:#10b981,color:#fff,stroke-width:3px ```

### 📈 **Рынок растет** Multimodal AI: $1.2B в 2023 → CAGR 30%+ до 2032 ### 🎯 **Примеры применения** - **GPT-4V:** анализ изображений + текст - **Gemini 2.0:** текст, изображения, видео - **Claude 4:** документы с диаграммами

### 🏗️ **Архитектура** 1. **Специализированные энкодеры** для каждой модальности 2. **Fusion layer** — объединение представлений 3. **Unified decoder** — генерация ответа **Вызов:** Синхронизация разных форматов данных, разрешений и временных рамок

Note: Multimodal AI — это не просто "ChatGPT + картинки". Это принципиально другая архитектура, которая понимает связи между модальностями. --- ## Data-Centric AI: данные важнее алгоритмов

### 📊 **Сдвиг парадигмы** **Data-Centric AI** — фокус на улучшении качества данных, а не только на настройке архитектур моделей **Принцип:** Простая модель на качественных данных часто превосходит сложную модель на шумных данных

### 🎯 **Компоненты качества данных** - **Accuracy:** правильность разметки - **Diversity:** покрытие edge cases - **Consistency:** единообразие аннотаций - **Freshness:** актуальность данных - **Completeness:** отсутствие пропусков

### 🔧 **Практические методы** - **Automated labeling** с человеческой проверкой - **Synthetic data generation** для редких случаев - **Data pruning** — удаление шумных примеров - **Active learning** — умный сбор новых данных

 💡 94% AI-лидеров говорят, что интерес к AI ведет к большему фокусу на данных 

Note: В 2025 году "инженер данных" становится важнее "ML-инженера". Качество данных определяет успех больше, чем выбор архитектуры. --- ## Baseline: ваш первый и главный друг

### 🎯 **Правило золотого стандарта** **Без baseline нет честного сравнения!**

🟥 Level 0: Rule-based

Простые правила, регулярные выражения, статистика

🟨 Level 1: Classical ML

LogReg, Random Forest, SVM — проверенные методы

🟩 Level 2: Modern AI

SLM/LLM только если Level 1 недостаточно

```python # Пример честного сравнения baselines = { 'rule_based': rule_based_classifier(), 'logistic_regression': LogisticRegression(), 'random_forest': RandomForestClassifier(), 'bert_base': BertClassifier(), 'custom_llm': CustomLLMClassifier() } results = evaluate_all_models(baselines, test_data) print(f"Best ROI: {find_best_roi(results)}") ``` Note: Часто оказывается, что простая логистическая регрессия работает не хуже BERT, но в 100 раз быстрее и дешевле. --- ## Метрики 2025: beyond accuracy

### 📊 **Traditional metrics** - **Accuracy, F1, Recall, Precision** - **BLEU, ROUGE** (для генерации) - **Perplexity** (для языковых моделей)

### 🚀 **Modern metrics** - **Hallucination rate** — процент выдумок - **Toxicity score** — безопасность контента - **Inference cost** — стоимость запроса - **Carbon footprint** — экологический след

### 🎯 **User-centric metrics** - **Task completion rate** — решает ли задачу пользователя? - **Retry rate** — как часто переспрашивают? - **Session satisfaction** — NPS для AI-систем - **Time to value** — как быстро пользователь получает пользу?

 ⚡ Тренд: переход от средней производительности к измерению производительности на конкретных популяциях данных 

Note: В 2025 году важно не только "модель точная", но и "пользователи довольны" и "система окупается". --- ## Архитектура размещения моделей ```mermaid graph TD A[Model Deployment] --> B[Cloud API] A --> C[On-Premise] A --> D[Edge Devices] B --> E[OpenAI, Anthropic] B --> F[AWS Bedrock] B --> G[Azure OpenAI] C --> H[Local GPU Cluster] C --> I[Private Cloud] D --> J[Mobile Apps] D --> K[IoT Devices] D --> L[Smart Glasses] style A fill:#2563eb,color:#fff,stroke-width:3px style D fill:#10b981,color:#fff,stroke-width:3px ```

 🔄 Тренд 2025: AI перестает быть инструментом для работы и дома, становясь неотъемлемой частью и того, и другого 

Note: Edge AI — растущий тренд. Apple Intelligence, Microsoft Copilot+ PC показывают, что AI переезжает на устройства пользователей. --- # 🎯 Интерактив №1 ## Выбираем модель для проекта **Задание (10 минут по проектам):**

### 📝 **Для вашего проекта определите:** 1. **Тип задачи:** классификация, генерация, multimodal? 2. **Baseline:** какая самая простая версия? 3. **Кандидаты моделей:** SLM vs LLM vs специализированная 4. **Критерии выбора:** скорость, точность, стоимость, приватность ### 🤔 **Вопросы для обсуждения:** - Действительно ли нужен ChatGPT или хватит Phi-3? - Где будет развернута модель — облако или edge?

**Результат: 5 презентаций по 2 минуты** Note: Цель — научить студентов думать критериями, а не хайпом. Часто оказывается, что "крутая задача" решается простыми методами. --- # ☕ Перерыв ## 10 минут _Время подумать о baseline для вашего проекта_ --- ## Обновление моделей: от статики к динамике

### 🔄 **Lifecycle моделей в production** ```mermaid graph LR A[Data Collection] --> B[Training] B --> C[Evaluation] C --> D[Deployment] D --> E[Monitoring] E --> F[Drift Detection] F --> G{Retrain?} G -->|Yes| A G -->|No| E style E fill:#f59e0b,color:#fff,stroke-width:2px style F fill:#ef4444,color:#fff,stroke-width:2px ```

### 📊 **Data Drift Detection** - **Statistical tests:** KS-test, MMD - **Performance degradation** monitoring - **User feedback** analysis - **A/B testing** новых версий

### ⚙️ **Automated Retraining** - **Trigger conditions:** падение метрик, новые данные - **Canary deployments** — постепенный rollout - **Rollback mechanisms** при проблемах - **Version control** для моделей и данных

Note: Статические модели умирают. В 2025 успешные AI-системы — это системы, которые умеют учиться и адаптироваться. --- ## Бенчмарки насыщаются: проблема и решения

 🚨 **Проблема:** Многие бенчмарки "насыщены" — AI-системы получают такие высокие баллы, что они больше не полезны 

### ❌ **Насыщенные бенчмарки** - **GLUE/SuperGLUE** — NLP задачи - **ImageNet** — классификация изображений - **MATH** — математические задачи - **HumanEval** — программирование

### ✅ **Новое поколение оценки** - **DataPerf** — бенчмарки для data-centric подходов - **Dynamic benchmarks** — Dynabench - **Human evaluation** в real-world условиях - **Domain-specific** метрики

### 🎯 **Принципы новых бенчмарков** - **Adversarial robustness** — устойчивость к атакам - **Out-of-distribution** performance — работа на новых данных - **Few-shot learning** — обучение на малых данных - **Alignment** — соответствие человеческим ценностям

Note: Когда GPT-4 набирает 95% на бенчмарке, этот бенчмарк теряет смысл. Нужны новые способы оценки. --- ## Synthetic Data: когда реальных данных мало

### 🎯 **Когда нужны синтетические данные** - **Privacy compliance** — GDPR, HIPAA - **Rare events** — медицинские диагнозы - **Edge cases** — экстремальные ситуации - **Imbalanced datasets** — выравнивание классов

### 🛠️ **Инструменты генерации** - **Synthea** — медицинские данные - **Datagen** — 3D симуляции - **Mostly AI** — табличные данные - **NVIDIA Omniverse** — синтетические изображения

### ⚠️ **Риски и ограничения** - **Mode collapse** — ограниченное разнообразие - **Distribution shift** — отличие от реальных данных - **Bias amplification** — усиление предрассудков - **Regulatory acceptance** — принятие регуляторами

 📊 В 2025 data-centric AI делает акцент на улучшении датасетов, а не только на настройке архитектур моделей 

Note: Синтетические данные — мощный инструмент, но не панацея. Нужен баланс между реальными и синтетическими данными. --- ## Роли команды в эпоху моделей и данных

🧠 AI Engineer

Выбор типа модели (SLM vs LLM vs multimodal)
Создание baseline и метрик
Data quality assessment
Fine-tuning и evaluation

⚙️ MLOps

Автоматизация data pipelines
Model versioning и deployment
Monitoring и drift detection
A/B testing infrastructure

💻 Fullstack

Интеграция различных типов моделей
Edge deployment оптимизация
Handling multimodal inputs
Performance optimization

🏗️ Architect

Стратегия выбора моделей
Data governance и compliance
Архитектура hybrid cloud/edge
Cost optimization strategy

Note: В команде 2025 года каждая роль работает с данными. Это не только "задача дата-саентиста", а общая ответственность. --- # 🎯 Интерактив №2 ## Data-centric thinking **Задание (8 минут в ролевых группах):**

🧠 AI Engineers:
Какие данные нужны для вашего проекта? Где взять качественный dataset?

⚙️ MLOps:
Как автоматизировать сбор новых данных и обновление модели?

💻 Fullstack:
Как собирать user feedback для улучшения модели?

🏗️ Architects:
Как обеспечить data governance и compliance?

**Результат: план data strategy для каждого проекта** Note: Фокус на том, что данные — не разовая задача, а постоянный процесс. Как команда будет работать с данными в долгосрочной перспективе. --- ## Cost optimization: делаем AI доступным

### 💰 **Экономика AI моделей в 2025** **Тренд:** Стоимость inference падает драматически — от $20 до $0.07 за миллион токенов за год

### 📉 **Как снижать costs** - **Model compression:** quantization, pruning - **Batch processing** вместо real-time - **Caching** популярных запросов - **Smart routing** — простые задачи на SLM

### 🎯 **Hybrid strategies** ```python def smart_routing(query): if is_simple_query(query): return phi3_model(query) # Cheap & fast elif needs_reasoning(query): return o1_model(query) # Expensive but smart else: return gpt4_model(query) # Balanced ```

 ⚡ **Правило 80/20:** 80% запросов можно обработать на SLM за 20% стоимости LLM 

Note: Smart routing — когда система автоматически выбирает подходящую модель в зависимости от сложности запроса. --- ## Reproducibility и документация

### 📚 **Что документировать** - **Model card** — описание модели, ограничения, этика - **Dataset card** — источники данных, preprocessing - **Experiment logs** — все попытки и результаты - **Deployment guide** — как запустить в production

### 🛠️ **Инструменты для reproducibility** - **DVC** — version control для данных - **MLflow** — experiment tracking - **HuggingFace Hub** — sharing models - **Papers With Code** — связь с исследованиями

### 📝 **Template model card** ```yaml model_name: "customer-support-classifier" version: "v2.1" base_model: "phi-3-mini" training_data: "support_tickets_2024_q4" metrics: accuracy: 0.87 f1_score: 0.85 inference_time_ms: 45 limitations: - Works only in English - Struggles with sarcasm ```

Note: Документация — это не бюрократия, а страховка от "как это работало полгода назад?". --- ## Edge AI: модели в кармане

 🚀 Сдвиг к on-device AI — AI рабочие нагрузки теперь работают прямо на ноутбуках и мобильных устройствах 

### 📱 **Примеры Edge AI 2025** - **Apple Intelligence** — локальная обработка - **Microsoft Copilot+ PC** — AI на процессоре - **Snapdragon X Elite** — специализированные NPU - **Meta Ray-Ban** — AI в очках

### ⚡ **Преимущества Edge** - **Latency:** мгновенный отклик - **Privacy:** данные не покидают устройство - **Offline работа** без интернета - **Cost:** нет затрат на API calls ### 🚧 **Ограничения** - Вычислительная мощность - Энергопотребление - Размер модели

Note: Edge AI — это будущее для privacy-sensitive приложений и real-time взаимодействий. --- ## Домашнее задание

### 📋 **До следующей лекции:**

1. **Создать модельную карту** для вашего проекта:
    
    - Baseline (rule-based/classical ML)
    - 2-3 кандидата моделей с обоснованием выбора
    - Метрики качества (не только accuracy!)
2. **Спроектировать data strategy:**
    
    - Источники данных и способы сбора
    - План обеспечения качества
    - Стратегия обновления данных
3. **Написать deployment план:**
    
    - Где будет размещена модель (cloud/edge/hybrid)
    - Оценка стоимости inference
    - Сценарии масштабирования

**Формат:** 2-3 страницы + код baseline

**На следующей лекции — живое тестирование ваших baseline!** Note: Домашка — практическая подготовка к real-world implementation. Студенты должны принести работающий код. --- ## Ключевые выводы 2025

### 🎯 **Модели** - **SLM** — основной тренд для специализированных задач - **Multimodal AI** — новый стандарт взаимодействия - **Edge deployment** — AI переезжает на устройства - **Baseline first** — инженерная дисциплина

### 📊 **Данные** - **Data-centric AI** — данные важнее алгоритмов - **Quality over quantity** — лучше меньше, да лучше - **Synthetic data** — решение для privacy и rare cases - **Continuous learning** — модели обновляются с новыми данными

### 🏗️ **Системность** - Каждая роль команды работает с данными - Reproducibility и documentation — основа доверия - Cost optimization через smart routing - Monitoring и drift detection — must have

Note: 2025 — год зрелости AI индустрии. Время "экспериментов ради экспериментов" заканчивается, начинается время инженерных решений. --- ## Q&A и обсуждение

### 🤔 **Рефлексия** - Пересмотрели ли вы выбор модели для проекта? - Где в вашем проекте самые большие data risks? - Готовы ли вы к production deployment?

### 📚 **Следующая тема** **Лекция 4:** CI/CD и reproducibility

Note: Следующая лекция — про то, как упаковать вашу умную модель в понятный пользователю интерфейс. --- ## Источники и ресурсы

### 📚 **Ключевые исследования 2025** - **MIT Technology Review:** Small Language Models Breakthrough - **Stanford AI Index 2025** — состояние индустрии - **Data-Centric AI Survey** — Zha et al. - **DataPerf Benchmarks** — MLCommons

### 🛠️ **Практические инструменты** - **HuggingFace Transformers** — модели и datasets - **MLflow** — experiment tracking - **DVC** — data version control - **Weights & Biases** — monitoring

### 🔗 **Полезные ресурсы** - **Papers With Code** — research + code - **Model Zoo** — предобученные модели - **Awesome Data-Centric AI** — GitHub

### 📊 **Benchmarks & Datasets** - **DataPerf** — data-centric benchmarks - **Hugging Face Datasets** — коллекция данных - **OpenML** — машинное обучение datasets

Note: Все упомянутые инструменты и исследования доступны в open source или имеют бесплатные тарифы для образования. --- # Модель — инструмент, данные — основа! **Следующая лекция:** CI/CD и reproducibility _SLM + Quality Data + Smart Deployment = Winning Strategy_