Типы вреда: что именно ломается
Этика и ответственный ИИ · Урок 1 / 22
Начинайте не с принципов, а с последствий
Разговор об ответственном ИИ обычно начинается с ценностей и заканчивается слайдом. Разговор, который меняет продукт, начинается с другого вопроса: что конкретно случится с конкретным человеком, если система ошибётся — или сработает штатно, но не в его пользу. Вред от систем ИИ не мистический. Он повторяется от компании к компании и укладывается в несколько узнаваемых типов.
Шесть типов вреда, которые вы увидите на практике
- Отказ в доступе. Скоринг, антифрод, отбор резюме, блокировка аккаунта. Человек не получает кредит, работу или доступ к своим деньгам.
- Ошибочная информация с последствием. Ассистент поддержки пообещал условия, которых в тарифе нет. Внутренний бот дал юристу ссылку на несуществующее дело.
- Утечка данных. Персональные данные клиента попали в промпт, промпт попал в лог, лог доступен всему отделу и подрядчику.
- Ущерб достоинству. Оскорбительная генерация, некорректная классификация людей, ошибки распознавания, которые систематически бьют по одной группе.
- Экономическое смещение. Приоритизация или ценообразование, при котором одни клиенты стабильно получают худшие условия без разумного основания.
- Тихая деградация решений. Модель подсказывает, сотрудники перестают думать, качество падает медленно и никем не измеряется.
Карточка сценария (заполняется за 10 минут) 1. Что система делает — одно предложение без маркетинга 2. Кто получает результат и что он с ним делает дальше 3. Кто пострадает, если результат неверный 4. Сколько таких людей проходит через сценарий за месяц 5. Как мы узнаем об ошибке и через сколько дней 6. Может ли человек оспорить результат и куда он пойдёт
Инсайт. Самый недооценённый пункт карточки — пятый. Компании обычно знают, что система может ошибаться, и почти никогда не знают, через какой канал ошибка до них дойдёт. Если ответ «клиент напишет в поддержку» — вы узнаете о вреде после того, как он накопится.
Обратите внимание: половина типов вреда не требует ни злого умысла, ни экзотической технологии. Достаточно обычного пилота, который выкатили на реальных клиентов, потому что «это же просто подсказка оператору». Подсказка оператору превращается в решение ровно в тот момент, когда оператор перестаёт её проверять.
Частая ошибка. Считать вредом только громкие сценарии — дискриминацию и утечки. В реальных разборах инцидентов чаще всего всплывает скучное: система дала неверную сумму, никто не заметил три недели, клиентам вернули деньги вручную и без объяснений.
Про-совет. Заведите один документ — реестр ИИ-сценариев — раньше, чем политику. В нём три колонки на старте: сценарий, кто отвечает, какой вред возможен. Политика без реестра описывает воображаемую компанию.
Шпаргалка
- Вред описывается через конкретного человека и конкретное последствие, а не через нарушенный принцип.
- Шесть повторяющихся типов: отказ в доступе, ошибочная информация, утечка, ущерб достоинству, экономическое смещение, деградация решений.
- Подсказка становится решением, когда её перестают проверять.
- Начинайте с реестра сценариев, а не с декларации.
1. С чего полезнее начинать разговор об ответственном ИИ в компании?
2. Что означает пункт «как мы узнаем об ошибке» в карточке сценария?
3. Почему подсказка оператору может считаться решением?