[Otus] NLP. Advanced (Мария Тихонова, Алексей Клочков)

​

Изучаем самые актуальные технологии и архитектуры, связанные с LLM и трансформерными моделями, которые стали стандартом в области работы с текстом. Генеративные LLM, такие как ChatGPT и GPT4 позволяют решать огромное множество задач на высоком уровне. На рынке IT есть потребность в специалистах, которые владеют технологиями работы с этими моделями на уровне архитектуры и умеют адаптировать их для своих бизнес-задач.

Для кого этот курс
Этот курс для тех, кто хочет за минимальный срок на высоком уровне освоить самые продвинутые методы LLM и сразу начать применять их на практике.

• Практикующие DS специалисты, которые хотят получить углубленные знания по трансформерным моделям и научиться работать с LLM на высоком уровне;
• Выпускники курсов Machine Learning. Professional, Machine Learning. Advanced, NLP / Natural Language Processing, которые хотят освоить самые передовые методы работы с LLM;
• ИТ-специалисты, которым на работе приходиться работать с текстовыми данными и внедрять методы работы с трансформерными моделями и LLM.

Необходимые знания

• Базовая высшая математика: умение работать с матрицами и векторами, базовое знание математической статистики, теории вероятности и мат. анализа;
• Методы классического ML, умение работать с классическими ML моделями;
• Основы Deep Learning, базовое представление о pytorch;
• Программирование на Python для машинного обучения.

Что даст вам этот курс
Вы научитесь
Работать с LLM (большими языковыми моделями) на высоком уровне;
Самым передовым методам работы с LLM и трансформерными моделями;
Применять самые продвинутые архитектуры и адаптировать их под широкий круг бизнес-задач;
Дообучать языковые модели под свои задачи;
Поднимать модели в телеграм-боте.

Программа

Базовые понятия трансформерных моделей
В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования.
Тема 1: Задача языкового моделирования и понятие языковой модели
Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ
Тема 3: BERT и другие трансформерные энкодеры // ДЗ
Тема 4: GPT и другие декодерные модели для генерации текста
Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ
Тема 6: Методы за ChatGPT + Q&A сессия

Новая эра LLM: базовые методы
В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга.
Тема 1: Современные LLM и оптимизация архитектуры
Тема 2: Практическое занятие: теория промптинга LLM // ДЗ
Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу
Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ
Тема 5: Мультиязычные трансформеры
Тема 6: Работа с длинным контекстом
Тема 7: Q&A сессия и дискуссионный клуб

Продвинутые методы работы с LLM
В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга.
Тема 1: Современные LLM и оптимизация архитектуры
Тема 2: Практическое занятие: теория промптинга LLM // ДЗ
Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу
Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ
Тема 5: Мультиязычные трансформеры
Тема 6: Работа с длинным контекстом
Тема 7: Q&A сессия и дискуссионный клуб

Доп. главы работы с LLM
В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы.
Тема 1: Оценка LLM
Тема 2: Распределенное обучение
Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ
Тема 4: Q&A сессия и дискуссионный клуб

Трансформеры для других модальностей
В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах.
Тема 1: Мультимодальные и Vision трансформеры
Тема 2: Практическое занятие по работе с мультимодальными моделями
Тема 3: Введение в AI агентов // ДЗ
Тема 4: Трансформеры для временных рядов
Тема 5: Трансформеры для табличных данных
Тема 6: Q&A сессия и дискуссионный клуб
Тема 7: Собеседование. Как подготовиться и что нужно знать

Проектная работа
Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и домашним заданиям
Тема 3: Защита проектных работ
Тема 4: Подведение итогов курса

Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Мария Тихонова, Алексей Клочков, Раиль Сулейманов, Александр Брут-Бруляко, Дмитрий Гайнуллин, Андрей Носов, Никита Овчинников