[Otus] Компьютерное зрение. Advanced (Антон Витвицкий, Дмитрий Колесников)

​

Для кого этот курс?

• Для опытных специалистов в области компьютерного зрения (от 1 до 3 лет опыта), которые желают расширить свой кругозор в CV, упорядочить и актуализировать знания, углубиться в специфичные задачи компьютерного зрения.
• Для тех, кто самостоятельно освоил CV, но еще не имел возможносоти получить коммерческого опыта в этой сфере.
• Для опытных питонистов, знакомых с компьютерным зрением и нейросетями.
• Для тех, кто прошел курс «Компьютерное зрение» в Отус.

Необходимые знания

• Уверенное знание Python
• Понимание работы нейросетей и методов глубокого обучения
• Базовые знания по компьютерному зрению

Что даст вам этот курс?

• Продвинутые знания в области компьютерного зрения
• Глубокую теорию и понятную практику от ведущих экспертов в области компьютерного зрения
• Опыт работы с актуальными технологиями: PyTorch 2.0, Vision Transformers, Diffusion models, Generative AI, SAM, action detection, geometry computer vision
• Выпускной проект, который можно будет прикрепить к резюме
• Вы сможете
• Решать любые задачи компьютерного зрения от стадии идеи до продакшена,
• Понимать, как решать ту или иную задачу
• Понимать, какими инструментами воспользоваться и какие сложности и подводные камни могут при этом возникнуть
• Доводить решения от стадии идей и эксперементов до полноценного продакшен кода

Программа:

Рабочее окружение и библиотеки для CV

Начальный модуль посвящён настройке рабочего окружения и установке библиотек, нужных для обучения на курсе.

• Вводная лекция: задачи, инструменты и программа курса
• PyTorch 2.x: стандартные датасеты и модели torchvision
• Библиотеки компьютерного зрения: OpenCV, Kornia, Hugging Face, OCR

Нейронные сети и глубокое обучение

Знакомство с архитектурами нейронных сетей, применяемых в компьютерном зрении, от свёрточных до современных трансформеров.

• Эволюция свёрточных сетей: от AlexNet до EfficientNet
• Адаптивные методы градиентного спуска
• Трансформеры в задачах зрения
• Self-Supervised Learning: SimCLR, BYOL, FixMatch, MAE, DINO

Стандартные задачи CV

Модуль посвящён основным задачам компьютерного зрения — детекции, трекингу, ре-идентификации и сегментации.

• Object Detection: постановка задачи, метрики, семейство R-CNN
• Object Detection: проблемы многомасштабности, семейство YOLO
• Сегментация: продвинутые методы, 3D-сегментация
• Pose Estimation: 2D и 3D
• Face Recognition: современные подходы (SphereFace, ArcFace, CosFace)
• Object Tracking и ReID
• Выбор темы и организация проектной работы

Генеративные модели

Модуль полностью посвящён генеративным моделям искусственного интеллекта — от автоэнкодеров и GAN до диффузионных и мультимодальных систем.

• Вариационные автоэнкодеры (VAE)
• GAN: постановка задачи и обзор архитектур
• Диффузионные модели
• Stable Diffusion. Multimodal text-to-image generation: IP-Adapter, ControlNet
• Generative Video Models: Stable Video Diffusion, Gen2, MAKE-A-VIDEO
• Multimodal image-to-text generation и visual QA

Продвинутые методы CV

Модуль посвящён современным задачам и инструментам компьютерного зрения — от SAM до стереозрения и SLAM.

• Zero-Shot Learning подходы
• Стереозрение и калибровка камеры
• Геометрические методы в компьютерном зрении
• 3D Reconstruction: MVSNet, NeRF
• SLAM и архитектуры моделей компьютерного зрения для автономного транспорта
• Распознавание и детекция действий на видео

Оптимизация, инференс и подготовка к продакшену

Практический модуль об оптимизации моделей и их развёртывании на сервере.

• Инференс на сервере: TensorRT, ONNX, Triton
• Ускорение работы с видео для инференса нейросетей (бонусное занятие)
• Архитектура проектов по видеоаналитике (бонусное занятие)

Бонусные занятия

Модуль даёт базовые знания и концепции в нейронных сетях и глубоком обучении. Полезен для тех, кто хочет освежить и актуализировать знания, а также для новичков в нейросетях. Рекомендуется пройти перед основными лекциями.

• Сверточные нейронные сети: операции свертки, транспонированной свертки, пуллинг
• Подготовка и аугментация данных
• Градиентный спуск и backpropagation
• Переобучение и регуляризация
• Взрывы и затухание градиентов