Кто пострадавший и кто отвечает

Этика и ответственный ИИ · Урок 2 / 22

Ответственность не делится с моделью

Первая фраза, которую слышишь на разборе инцидента: «так модель же выдала». Это не объяснение. Организация выбрала поставщика, выбрала сценарий, выбрала, где поставить человека, и выбрала, что не проверять. Каждое из этих решений принимал человек с должностью. За результат отвечает организация — целиком, независимо от того, чей код внутри.

Две разные роли, которые постоянно путают

  • Пострадавший — тот, на кого падает последствие. Часто он не является вашим клиентом: кандидат, которого отсеяли; человек на видео, которое сгенерировали; получатель платежа, который заблокировали.
  • Ответственный — тот, кто может остановить сценарий и чья премия зависит от результата. Если такого человека нет, сценарий бесхозный, и разбирать инцидент будет некому.

Полезно развести четыре позиции по каждому сценарию: владелец продукта (отвечает за то, что сценарий вообще существует), владелец решения (утверждает пороги и правила), исполнитель (нажимает кнопку), контролёр (проверяет выборку постфактум). Одно имя может занимать две позиции, но ни одна не может быть пустой.

Матрица ответственности по сценарию
Сценарий: ...................................
Владелец продукта:      имя, должность
Владелец решения:       имя, должность
Исполнитель:            роль/команда
Контролёр качества:     имя, периодичность проверки
Кто может остановить:   имя + как технически (флаг, доступ, кнопка)
Срок реакции на жалобу: ... рабочих дней
Инсайт. Строка «кто может остановить и как технически» ловит больше проблем, чем весь остальной документ. Регулярно оказывается, что остановить сценарий может только разработчик, который в отпуске, а флага выключения не существует вовсе.

Отдельная ловушка — распределённая безответственность у поставщика. Вы купили сервис, поставщик купил модель у другого поставщика, тот использует ещё чей-то дата-центр. В договоре у всех написано, что они «предоставляют инструмент». Пострадавший при этом придёт к вам, потому что ваш логотип стоял на письме об отказе.

Частая ошибка. Назначать ответственным «команду ИИ» или «дата-офис». Команда не даёт показания, не подписывает решение и не несёт последствий. Ответственный — это человек с именем и полномочием остановить сценарий.
Про-совет. Проверяйте матрицу вопросом на выживание: «сегодня пятница, вечер, клиент публикует скриншот с ошибкой системы — кому звонят первым и кто имеет право выключить?» Если на второй вопрос нет ответа, сценарий не готов к запуску.

Шпаргалка

  • Модель не субъект ответственности; отвечает организация, принявшая решения о её применении.
  • Пострадавший часто не клиент — не забывайте кандидатов, третьих лиц, получателей.
  • Четыре позиции: владелец продукта, владелец решения, исполнитель, контролёр.
  • Без технической возможности остановки ответственность номинальна.
1. Почему фраза «так решила модель» не работает как объяснение инцидента?
2. Кого чаще всего забывают в списке пострадавших?
3. Какой признак делает ответственность реальной, а не номинальной?
Задание — проверяет ИИ

Возьмите один действующий или планируемый ИИ-сценарий в своей организации и заполните матрицу ответственности: владелец продукта, владелец решения, исполнитель, контролёр, кто может остановить и каким техническим способом, срок реакции на жалобу. Отдельно перечислите всех пострадавших, включая тех, кто не является вашим клиентом. Укажите, какие позиции сейчас пустые и что вы сделаете, чтобы их закрыть.

← Назад

🔒 Ответьте на вопрос верно, чтобы перейти к следующему уроку.

Кто пострадавший и кто отвечает — Этика и ответственный ИИ — Skilvy