Сценарии, где локальный запуск — единственный вариант

Есть задачи, где выбор уже сделан за вас

Обычно локальный запуск сравнивают с облачным по деньгам и удобству. Но существует класс задач, где сравнения не происходит: облачный вызов невозможен технически или недопустим по правилам, и вопрос сводится к тому, как уместить модель в имеющиеся ресурсы. Такие сценарии стоит распознавать сразу, потому что они меняют весь ход проектирования — вы не выбираете лучший вариант, вы делаете единственный доступный.

Данные, которые нельзя выпускать

Персональные, медицинские, платёжные данные, содержимое переписки сотрудников, исходный код под NDA, документы с грифом. Ограничение здесь обычно не в самом факте передачи, а в договорной и регуляторной обвязке: обработчик должен быть в списке, площадка — в нужной юрисдикции, срок хранения — под вашим контролем. Провайдер может формально всё это обеспечивать, но согласование займёт месяцы, а иногда упрётся в отказ службы безопасности контрагента, которому эти данные принадлежат.

Сеть, которой нет

• Изолированные сегменты. Промышленный контур, закрытая сеть, стенд без выхода наружу. Прокси в интернет там не появится, потому что его отсутствие — это и есть мера защиты.
• Оборудование в поле. Буровая, судно, транспорт, удалённый объект: спутниковый канал есть, но он узкий, дорогой и рвётся.
• Устройство пользователя. Обработка прямо на ноутбуке или телефоне — когда данные не должны доходить даже до вашего собственного сервера.

Жёсткая задержка

Облачный вызов добавляет к генерации сетевой путь: рукопожатие, маршрут до региона провайдера, очередь на его стороне. На хорошем канале это десятки миллисекунд, на плохом — сотни, и распределение имеет длинный хвост. Если ваш сценарий требует ответа за фиксированное время в верхнем процентиле — подсказка при вводе, голосовой цикл, реакция на событие в реальном времени, — этот хвост становится определяющим. Локальная модель убирает сеть из уравнения целиком, и остаётся только время генерации, которое вы контролируете.

Объём, который не пропускают

признак сценария            следствие
--------------------------------------------------------
поток запросов ровный        железо загружено, простой мал
запрос короткий и типовой    хватает небольшой модели
ответ короткий               время генерации предсказуемо
данные внутренние            согласование не нужно
--------------------------------------------------------
если все четыре — локально почти наверняка правильный ответ

Классификация обращений, разметка потока документов, извлечение полей из форм, фильтрация логов — здесь запросы одинаковые, поток ровный, а лимиты провайдера на число запросов в минуту становятся стеной раньше, чем кончается бюджет.

Шпаргалка

• Есть сценарии, где облачный вызов невозможен, — их распознают до выбора модели.
• Четыре типовых: закрытые данные, изолированная сеть, жёсткая задержка, ровный массовый поток.
• Сеть добавляет к задержке длинный хвост, локальный запуск убирает его целиком.
• Локальность закрывает передачу данных, но не весь их жизненный цикл.