Fine-tuning и кастомизация моделей

О курсе

Курс о дообучении языковых моделей как инженерном решении, а не магии — когда оно оправдано по сравнению с промптом или поиском по документам, и как провести его воспроизводимо. Разбираем форматы обучающих данных, гиперпараметры, переобучение, сравнение с бейзлайном и эксплуатацию версий модели.

Пять модулей идут от решения «дообучать или нет» через данные, обучение и оценку к эксплуатации. В «Данных» собираете готовый к обучению набор с паспортом задачи. В «Обучении» проводите и описываете полный воспроизводимый цикл обучения одной модели. В «Оценке» готовите отчёт о сравнении с промптовым бейзлайном на одних данных для решения о выкатке.

Курс для тех, у кого есть реальная задача с накопленными данными или логами — без них дообучать нечего. Нужны Python и опыт работы с LLM через API или промпты. Курс не учит писать нейросети с нуля — фокус на данных, процессе обучения и решении о целесообразности.

Чему вы научитесь

• Оценивать целесообразность дообучения по таблице решений: промпт, поиск, дообучение
• Формировать обучающий пример и определять, что в нём считается ответом
• Собирать и чистить данные: убирать дубликаты, противоречия, утечку тестовых примеров
• Разделять данные на выборки до первого запуска обучения
• Подбирать гиперпараметры и распознавать переобучение по симптомам
• Обеспечивать воспроизводимость: версии данных, конфиг, журнал запусков
• Сравнивать дообученную модель с промптовым бейзлайном на одном наборе
• Оценивать стоимость, задержку и регрессии после дообучения перед выкаткой

Что останется после курса

• Готовый к обучению набор данных со своим паспортом задачи
• Воспроизводимый отчёт о цикле обучения одной модели
• Отчёт об оценке дообученной модели с решением о выкатке
• Регламент эксплуатации дообученной модели на квартал вперёд (на платных тарифах — с проверкой куратором и сертификатом)

Не подходит, если нет накопленных данных под задачу или если вопрос решается обычным промптом без обучения.