Кто пострадавший и кто отвечает
Этика и ответственный ИИ · Урок 2 / 22
Ответственность не делится с моделью
Первая фраза, которую слышишь на разборе инцидента: «так модель же выдала». Это не объяснение. Организация выбрала поставщика, выбрала сценарий, выбрала, где поставить человека, и выбрала, что не проверять. Каждое из этих решений принимал человек с должностью. За результат отвечает организация — целиком, независимо от того, чей код внутри.
Две разные роли, которые постоянно путают
- Пострадавший — тот, на кого падает последствие. Часто он не является вашим клиентом: кандидат, которого отсеяли; человек на видео, которое сгенерировали; получатель платежа, который заблокировали.
- Ответственный — тот, кто может остановить сценарий и чья премия зависит от результата. Если такого человека нет, сценарий бесхозный, и разбирать инцидент будет некому.
Полезно развести четыре позиции по каждому сценарию: владелец продукта (отвечает за то, что сценарий вообще существует), владелец решения (утверждает пороги и правила), исполнитель (нажимает кнопку), контролёр (проверяет выборку постфактум). Одно имя может занимать две позиции, но ни одна не может быть пустой.
Матрица ответственности по сценарию Сценарий: ................................... Владелец продукта: имя, должность Владелец решения: имя, должность Исполнитель: роль/команда Контролёр качества: имя, периодичность проверки Кто может остановить: имя + как технически (флаг, доступ, кнопка) Срок реакции на жалобу: ... рабочих дней
Отдельная ловушка — распределённая безответственность у поставщика. Вы купили сервис, поставщик купил модель у другого поставщика, тот использует ещё чей-то дата-центр. В договоре у всех написано, что они «предоставляют инструмент». Пострадавший при этом придёт к вам, потому что ваш логотип стоял на письме об отказе.
Шпаргалка
- Модель не субъект ответственности; отвечает организация, принявшая решения о её применении.
- Пострадавший часто не клиент — не забывайте кандидатов, третьих лиц, получателей.
- Четыре позиции: владелец продукта, владелец решения, исполнитель, контролёр.
- Без технической возможности остановки ответственность номинальна.
Возьмите один действующий или планируемый ИИ-сценарий в своей организации и заполните матрицу ответственности: владелец продукта, владелец решения, исполнитель, контролёр, кто может остановить и каким техническим способом, срок реакции на жалобу. Отдельно перечислите всех пострадавших, включая тех, кто не является вашим клиентом. Укажите, какие позиции сейчас пустые и что вы сделаете, чтобы их закрыть.