Почему прогнозы о технологиях ошибаются в обе стороны

Ошибка прогноза — не случайность, а закономерность

Про будущее ИИ говорят так, будто спор идёт между людьми, которые правы, и людьми, которые ошибаются. На практике ошибаются почти все, и ошибаются предсказуемым образом. Понимать механику этих ошибок полезнее, чем искать правильного пророка: механика повторяется, а пророки меняются.

Есть две симметричные ошибки. Первая — переоценка: технологию видят в виде работающей демонстрации и мысленно достраивают до готового продукта, который уже завтра стоит в каждой компании. Вторая — недооценка: технологию видят в виде сырой и смешной первой версии и делают вывод, что она такой и останется. Обе ошибки происходят из одного и того же — из подмены рассуждения о механизме рассуждением о впечатлении.

Откуда берётся переоценка

Экстраполяция кривой. Из того, что за несколько шагов улучшение было большим, выводят, что следующие шаги будут такими же. Но кривая — это результат работы конкретных механизмов, а не самостоятельная сущность; когда механизм упирается в ограничитель, кривая меняет форму.
Демонстрация вместо внедрения. Между «система умеет это на подготовленном примере» и «система делает это надёжно у чужих людей на их данных» лежит основная часть работы. Она обычно невидима снаружи.
Игнорирование сопутствующего. Технология работает не в вакууме: нужны данные, интеграции, обученные люди, процессы приёмки, ответственность за ошибку. Эта обвязка развивается медленнее самой модели.

Откуда берётся недооценка

Суждение по текущей версии. Ранняя версия оценивается как окончательная, хотя её недостатки могут быть устранимы, а могут быть принципиальны — это разные случаи, и их нужно различать.
Ставка на «настоящее» качество. Технология часто побеждает не тем, что делает работу лучше человека, а тем, что делает её достаточно и намного дешевле.
Слепое пятно к побочным эффектам. Самые заметные последствия технологий обычно не те, ради которых их создавали.

Разбор прогноза на части
1. Механизм — за счёт чего именно улучшение продолжится
2. Ограничитель — что раньше всего упрётся: данные, деньги, энергия, кадры, доверие
3. Условие — при каких обстоятельствах утверждение верно
4. Наблюдаемое следствие — что мы увидим, если прогноз сбывается
5. Опровержение — что мы увидим, если он не сбывается

Инсайт. Прогноз без пункта 5 — не прогноз, а настроение. Утверждение, которое совместимо с любым исходом, невозможно проверить, а значит, из него нельзя ничего вывести.

Частая ошибка. Считать, что осторожность — это всегда более точная позиция. Систематический скепсис ошибается ровно так же часто, как систематический энтузиазм, просто его ошибки заметны позже и реже вспоминаются.

Про-совет. Записывайте свои ожидания с датой записи и формулировкой наблюдаемого следствия. Через полгода это единственный способ узнать, насколько хорошо вы читаете тему, — память задним числом подгоняет прошлые мнения под то, что случилось.

Разделяйте три разных утверждения

В одной фразе часто смешаны утверждение о возможностях («система способна на это»), утверждение о распространении («это будет применяться повсеместно») и утверждение о последствиях («из-за этого изменится вот это»). Они требуют совершенно разных доказательств и проверяются в разные сроки. Возможность проверяется воспроизведением. Распространение — экономикой и регулированием. Последствия — наблюдением за реальными организациями. Спор, где одна сторона говорит о возможностях, а другая о распространении, не может закончиться: собеседники обсуждают разные вещи.

Шпаргалка

Переоценка и недооценка — две стороны одной ошибки: суждение по впечатлению вместо суждения по механизму.
У любой кривой роста есть механизм и ограничитель; спрашивайте про оба.
Прогноз без описанного опровержения не проверяем и потому бесполезен.
Возможность, распространение и последствия — три разных утверждения с разными доказательствами.

1. Почему экстраполяция кривой улучшений — слабый аргумент?

2. Что отличает проверяемое утверждение о будущем от непроверяемого?

3. Спорящие говорят: один — «система на это способна», другой — «этого не будет повсюду». В чём проблема спора?

🔒 Ответьте на вопрос верно, чтобы перейти к следующему уроку.