LLMOps и продакшн

О курсе

Курс об эксплуатации ИИ-систем в продакшне: почему зелёные тесты не спасают от молчаливой деградации и что делать, когда модель, промпт или данные меняются под ногами. Разбираем версионирование, выкатку, офлайн- и онлайн-оценку, наблюдаемость, инциденты и учёт расхода.

Пять модулей идут от того, что ломается в проде, через версии и окружения, измерение качества, наблюдаемость и инциденты к деньгам, безопасности и развитию. В «Версиях и окружениях» собираете регламент изменений на одну-две страницы для дежурного инженера. В «Измерении качества» строите систему оценки с составом набора по категориям. В «Наблюдаемости и инцидентах» собираете операционный пакет: логирование, трассировку, алерты и разбор инцидента.

Курс для тех, у кого ИИ-функция уже работает или почти готова к запуску и нужно провести её через первое дежурство. Нужны опыт эксплуатации софта (хотя бы базовый) и знакомство с вызовом LLM API. Это не вводный курс про промпты — здесь про то, что происходит после деплоя.

Чему вы научитесь

• Строить карту изменений по четырём подвижным частям: код, промпт, модель, данные
• Оценивать зрелость ИИ-системы по уровням — от скрипта до дежурства
• Версионировать промпты, конфиги и наборы оценки
• Проводить выкатку через канарейку, теневой прогон и откат
• Строить набор для офлайн-оценки и читать онлайн-сигналы с живого трафика
• Настраивать логирование и трассировку так, чтобы воспроизвести сбой
• Ставить алерты и проходить первый час инцидента без паники
• Считать расход по разрезам и оптимизировать стоимость без потери качества

Что останется после курса

• Регламент изменений ИИ-системы на одну-две страницы
• Система измерения качества с составом набора оценки по категориям
• Операционный пакет: схема логирования, трассировка, алерты, разбор инцидента
• Итоговый операционный план на квартал (на платных тарифах — с проверкой куратором и сертификатом)

Не подходит, если ИИ-функции ещё нет и вы только выбираете модель — курс начинается там, где система уже отвечает пользователям.