Промпт, поиск по документам, дообучение: таблица решений
Fine-tuning и кастомизация моделей · Урок 2 / 20
Три инструмента с разными точками отказа
В курсе про инженерию промпта вы фиксировали контракт на выход и прогоняли тест-сьют; в курсе про поиск по документам — подавали найденные фрагменты в контекст. Дообучение встаёт третьим и не заменяет ни один из них. Правильный вопрос не «что лучше», а «какой отказ вы чините». Промпт чинит непонимание задачи. Поиск чинит отсутствие данных. Дообучение чинит нестабильность формы при уже понятной задаче и достаточных данных.
Таблица решений
симптом инструмент ───────────────────────────────────────────────────────── модель не поняла, что от неё хотят промпт: контракт на выход ответ верный по форме, неверный по сути поиск по документам формат плавает от запроса к запросу, инструкция уже на 1500+ токенов дообучение нужны цифры и агрегаты запрос к базе задача меняется каждые две недели промпт (гибкость важнее) нужна ссылка на источник в ответе поиск по документам ─────────────────────────────────────────────────────────
Порядок работ, а не иерархия
Порядок такой: доводите промпт до потолка, измеряя его на тест-сьюте, потом подключаете поиск, если ошибки фактические, и только затем рассматриваете дообучение. Причина не в идеологии, а в стоимости изменения. Правку промпта вы выкатываете за минуту, изменение набора документов — за час, новую версию весов — за дни, включая сбор данных, обучение, оценку и выкатку. Начинать с самого дорогого цикла итераций значит платить эту цену на каждой гипотезе.
Есть и практическая выгода в этом порядке: доведённый промпт становится генератором обучающих данных. Его выходы, проверенные и исправленные человеком, — готовые примеры для обучения. Команда, пропустившая стадию промпта, потом собирает разметку с нуля.
Комбинация вместо выбора
Рабочая архитектура чаще всего гибридная: поиск отвечает за содержание, дообученная модель — за форму. Пример: ассистент поддержки, где фрагменты регламента подаются в контекст, а дообучение отвечает за то, чтобы ответ всегда начинался с решения, содержал срок и не содержал извинительных оборотов. Ни один из двух механизмов не решает задачу другого, и заменять поиск дообучением здесь бессмысленно.
Признаки, что промпт действительно упёрся
- Инструкция разрослась. Полторы-две тысячи токенов правил, которые вы боитесь трогать, потому что правка одного пункта ломает другой.
- Нестабильность на повторах. Один и тот же вход при низкой температуре даёт разную структуру ответа в заметной доле прогонов.
- Примеры в промпте не помогают. Добавление примеров даёт прирост на первых трёх-пяти и упирается в плато.
- Объём оправдывает цикл. Задача живёт месяцами и обрабатывает тысячи запросов в сутки, а не пятьдесят.
Шпаргалка
- Промпт чинит непонимание, поиск — отсутствие данных, дообучение — нестабильность формы.
- Порядок диктуется стоимостью итерации, а не модой.
- Доведённый промпт даёт черновики обучающих примеров.
- Гибрид «поиск для фактов, дообучение для формы» — типовая рабочая схема.
Возьмите одну свою реальную задачу для языковой модели. Опишите её текущее решение промптом и приложите сам промпт или его сокращённую версию. Затем разберите по таблице решений: какие ошибки у вас фактические, какие — про форму, и в каких долях (посчитайте на 20 реальных ответах). Сделайте вывод: чинить промптом, поиском по документам или дообучением, и объясните, что именно вы измерили, чтобы прийти к этому выводу.