Как устроен запрос к модели

Как устроен запрос к модели

С точки зрения кода LLM API — это обычный HTTP-эндпоинт: вы отправляете JSON, получаете JSON. Никакой магии. Но у этого запроса есть особенности, от которых зависит и качество ответа, и ваш счёт в конце месяца.

Минимальный запрос

POST https://api.openai.com/v1/chat/completions
Authorization: Bearer $OPENAI_API_KEY
Content-Type: application/json

{
  "model": "gpt-4o-mini",
  "messages": [
    { "role": "system", "content": "You are a terse assistant." },
    { "role": "user", "content": "Explain HTTP 429 in one sentence." }
  ],
  "temperature": 0.2
}

Три роли и зачем они нужны

• system — правила поведения на весь диалог: тон, формат, ограничения. Модель относится к нему как к приоритетной инструкции.
• user — запрос пользователя.
• assistant — предыдущие ответы модели. Вы передаёте их обратно, чтобы модель «помнила» диалог.

Ключевой момент, который ломает голову новичкам: API не хранит состояние. Каждый запрос независим. «Память» диалога — это просто массив messages, который вы отправляете целиком каждый раз. Отсюда и рост стоимости в длинных диалогах.

Структура ответа

{
  "id": "chatcmpl-...",
  "choices": [{
    "message": { "role": "assistant", "content": "429 means rate limited." },
    "finish_reason": "stop"
  }],
  "usage": { "prompt_tokens": 28, "completion_tokens": 9, "total_tokens": 37 }
}

Два поля, которые нужно читать всегда, а не только при отладке:

• finish_reason — stop (нормально), length (упёрлись в max_tokens — ответ обрезан!), tool_calls (модель хочет вызвать инструмент), content_filter.
• usage — реальный расход токенов. Логируйте его с первого дня, иначе счёт станет сюрпризом.

Параметры, которые реально влияют

• temperature (0–2). 0–0.3 — извлечение данных, классификация, код. 0.7–1.0 — тексты и идеи. Для продакшн-логики держите низкой: воспроизводимость важнее «креативности».
• max_tokens — потолок ответа. Ставьте всегда: защищает от неожиданно длинной генерации и от счёта.
• top_p — альтернатива temperature. Меняйте что-то одно, не оба сразу.
• seed (где поддерживается) — повышает воспроизводимость, но не гарантирует её.

Шпаргалка

• API без состояния: контекст = массив messages целиком.
• Роли: system (правила), user, assistant (история).
• Всегда читайте finish_reason и usage.
• temperature низкая для логики, max_tokens задавайте всегда.