Принц
Администратор
- Регистрация
- 16 Дек 2016
- Сообщения
- 183.375
- Реакции
- 465.824
Складчина: Большие языковые модели. Экспертный уровень / LLM [Otus] [Алексей Клочков, Мария Тихонова, Раиль Сулейманов]
Изучаем самые актуальные продвинутые методы работы с LLM и трансформерными моделями
Изучаем самые актуальные технологии и архитектуры, связанные с LLM и трансформерными моделями, которые стали стандартом в области работы с текстом. Генеративные LLM, такие как ChatGPT и GPT4 позволяют решать огромное множество задач на высоком уровне. На рынке IT есть потребность в специалистах, которые владеют технологиями работы с этими моделями на уровне архитектуры и умеют адаптировать их для своих бизнес-задач.
LLM — один из самых востребованных вариантов применения генеративного ИИ, поэтому на курсе мы делаем фокус на самые актуальные технологии работы с большими языковыми моделями. Студенты на практике научатся работать с самыми передовыми моделями и фреймворками, которые сегодня являются state-of-the-art в области NLP.
Для кого этот курс
Этот курс для тех, кто хочет за минимальный срок на высоком уровне освоить самые продвинутые методы LLM и сразу начать применять их на практике.
Практикующие DS специалисты, которые хотят получить углубленные знания по трансформерным моделям и научиться работать с LLM на высоком уровне;
Выпускники курсов Machine Learning. Professional, Machine Learning. Advanced, NLP / Natural Language Processing, которые хотят освоить самые передовые методы работы с LLM;
ИТ-специалисты, которым на работе приходиться работать с текстовыми данными и внедрять методы работы с трансформерными моделями и LLM.
Необходимые знания
Базовая высшая математика: умение работать с матрицами и векторами, базовое знание математической статистики, теории вероятности и мат. анализа;
Методы классического ML, умение работать с классическими ML моделями;
Основы Deep Learning, базовое представление о pytorch;
Программирование на Python для машинного обучения.
Что даст вам этот курс
Вы научитесь
Работать с LLM (большими языковыми моделями) на высоком уровне;
Самым передовым методам работы с LLM и трансформерными моделями;
Применять самые продвинутые архитектуры и адаптировать их под широкий круг бизнес-задач;
Дообучать языковые модели под свои задачи;
Поднимать модели в телеграм-боте.
Программа
Базовые понятия трансформерных моделей
В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования.
Тема 1: Задача языкового моделирования и понятие языковой модели
Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ
Тема 3: BERT и другие трансформерные энкодеры // ДЗ
Тема 4: GPT и другие декодерные модели для генерации текста
Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ
Тема 6: Методы за ChatGPT + Q&A сессия
Новая эра LLM: базовые методы
В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга.
Тема 1: Современные LLM и оптимизация архитектуры
Тема 2: Практическое занятие: теория промптинга LLM // ДЗ
Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу
Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ
Тема 5: Мультиязычные трансформеры
Тема 6: Работа с длинным контекстом
Тема 7: Q&A сессия и дискуссионный клуб
Продвинутые методы работы с LLM
В этом модуле вы изучите углубленные подходы к работе с трансформерами.
Тема 1: Sentence-transformers // ДЗ
Тема 2: Эффективные трансформеры
Тема 3: Практическое занятие: фреймворки для эффективной работы с LLM // ДЗ
Тема 4: LangChain
Тема 5: RAG - генерация на основе базы знаний
Доп. главы работы с LLM
В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы.
Тема 1: Оценка LLM
Тема 2: Распределенное обучение
Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ
Тема 4: Q&A сессия и дискуссионный клуб
Трансформеры для других модальностей
В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах.
Тема 1: Мультимодальные и Vision трансформеры
Тема 2: Практическое занятие по работе с мультимодальными моделями
Тема 3: Введение в AI агентов // ДЗ
Тема 4: Трансформеры для временных рядов
Тема 5: Трансформеры для табличных данных
Тема 6: Q&A сессия и дискуссионный клуб
Проектная работа
Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.
Преподаватели
Андрей Носов. AI Architect, Raft. PhD Communication Science, Tampere University (Finland)
Никита Овчинников. Lead of Research And Development Peech
Алексей Клочков. Data Science Team Lead Kept
Анна Козлова
Раиль Сулейманов. Machine Learning Engineer Garage IT
Мария Тихонова. Лидер Research кластера Сбер, ВШЭ
Дмитрий Гайнуллин. Machine Learning Engineer AIC
Стоимость установит организатор
СКАЧАТЬ
Изучаем самые актуальные продвинутые методы работы с LLM и трансформерными моделями
Изучаем самые актуальные технологии и архитектуры, связанные с LLM и трансформерными моделями, которые стали стандартом в области работы с текстом. Генеративные LLM, такие как ChatGPT и GPT4 позволяют решать огромное множество задач на высоком уровне. На рынке IT есть потребность в специалистах, которые владеют технологиями работы с этими моделями на уровне архитектуры и умеют адаптировать их для своих бизнес-задач.
LLM — один из самых востребованных вариантов применения генеративного ИИ, поэтому на курсе мы делаем фокус на самые актуальные технологии работы с большими языковыми моделями. Студенты на практике научатся работать с самыми передовыми моделями и фреймворками, которые сегодня являются state-of-the-art в области NLP.
Для кого этот курс
Этот курс для тех, кто хочет за минимальный срок на высоком уровне освоить самые продвинутые методы LLM и сразу начать применять их на практике.
Практикующие DS специалисты, которые хотят получить углубленные знания по трансформерным моделям и научиться работать с LLM на высоком уровне;
Выпускники курсов Machine Learning. Professional, Machine Learning. Advanced, NLP / Natural Language Processing, которые хотят освоить самые передовые методы работы с LLM;
ИТ-специалисты, которым на работе приходиться работать с текстовыми данными и внедрять методы работы с трансформерными моделями и LLM.
Необходимые знания
Базовая высшая математика: умение работать с матрицами и векторами, базовое знание математической статистики, теории вероятности и мат. анализа;
Методы классического ML, умение работать с классическими ML моделями;
Основы Deep Learning, базовое представление о pytorch;
Программирование на Python для машинного обучения.
Что даст вам этот курс
Вы научитесь
Работать с LLM (большими языковыми моделями) на высоком уровне;
Самым передовым методам работы с LLM и трансформерными моделями;
Применять самые продвинутые архитектуры и адаптировать их под широкий круг бизнес-задач;
Дообучать языковые модели под свои задачи;
Поднимать модели в телеграм-боте.
Программа
Базовые понятия трансформерных моделей
В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования.
Тема 1: Задача языкового моделирования и понятие языковой модели
Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ
Тема 3: BERT и другие трансформерные энкодеры // ДЗ
Тема 4: GPT и другие декодерные модели для генерации текста
Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ
Тема 6: Методы за ChatGPT + Q&A сессия
Новая эра LLM: базовые методы
В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга.
Тема 1: Современные LLM и оптимизация архитектуры
Тема 2: Практическое занятие: теория промптинга LLM // ДЗ
Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу
Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ
Тема 5: Мультиязычные трансформеры
Тема 6: Работа с длинным контекстом
Тема 7: Q&A сессия и дискуссионный клуб
Продвинутые методы работы с LLM
В этом модуле вы изучите углубленные подходы к работе с трансформерами.
Тема 1: Sentence-transformers // ДЗ
Тема 2: Эффективные трансформеры
Тема 3: Практическое занятие: фреймворки для эффективной работы с LLM // ДЗ
Тема 4: LangChain
Тема 5: RAG - генерация на основе базы знаний
Доп. главы работы с LLM
В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы.
Тема 1: Оценка LLM
Тема 2: Распределенное обучение
Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ
Тема 4: Q&A сессия и дискуссионный клуб
Трансформеры для других модальностей
В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах.
Тема 1: Мультимодальные и Vision трансформеры
Тема 2: Практическое занятие по работе с мультимодальными моделями
Тема 3: Введение в AI агентов // ДЗ
Тема 4: Трансформеры для временных рядов
Тема 5: Трансформеры для табличных данных
Тема 6: Q&A сессия и дискуссионный клуб
Проектная работа
Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.
Преподаватели
Андрей Носов. AI Architect, Raft. PhD Communication Science, Tampere University (Finland)
Никита Овчинников. Lead of Research And Development Peech
Алексей Клочков. Data Science Team Lead Kept
Анна Козлова
Раиль Сулейманов. Machine Learning Engineer Garage IT
Мария Тихонова. Лидер Research кластера Сбер, ВШЭ
Дмитрий Гайнуллин. Machine Learning Engineer AIC
Стоимость установит организатор
СКАЧАТЬ
Для просмотра скрытого содержимого вы должны зарегистрироваться