Чек-лист разбора громкого заявления

Пять вопросов, которые снимают половину шума

Заявлений о возможностях ИИ выходит больше, чем можно вдумчиво прочитать. Нужен дешёвый фильтр — набор вопросов, который занимает минуту и отсеивает большую часть того, что не стоит внимания. Оставшееся уже имеет смысл разбирать всерьёз. Ниже такой фильтр и объяснение, зачем нужен каждый шаг.

Чек-лист

• Кто говорит и что он получает от того, что вы поверите. Интерес не делает утверждение ложным, но задаёт направление возможного искажения: продавец подчёркивает возможности, критик — провалы, издание — драму. Зная направление, вы знаете, где перепроверять.
• Что именно утверждается. Переформулируйте заявление так, чтобы в нём остались только проверяемые части. «Система прошла испытание X с результатом Y при условиях Z» — проверяемо. «Прорыв, меняющий всё» — не содержит утверждения вообще.
• На чём основано. Единичный показ, отчёт самой компании, независимая проверка, повторение сторонними людьми — это четыре разных уровня, и разница между ними больше, чем разница между двумя соседними цифрами результата.
• Что было бы опровержением. Спросите себя: какой результат заставил бы автора признать, что он ошибся. Если ответа нет — заявление не о фактах.
• Что меняется для вас. Многие сообщения верны и при этом ни на что не влияют в вашей работе. Это законный исход разбора.

Карточка разбора (на одну страницу)
Источник и его интерес:
Проверяемое ядро (одно предложение):
Отброшенная риторика:
Уровень свидетельства: показ / отчёт автора / независимая проверка / повторение
Что было бы опровержением:
Решение: игнорировать / следить / проверить самому / менять что-то в работе

Слова, которые чаще всего скрывают пустоту

Есть обороты, при виде которых стоит замедлиться. «Впервые в мире» — обычно верно при достаточно узком определении «этого». «На уровне человека» — требует уточнения: какого человека, на какой задаче, при каких условиях. «Понимает» и «рассуждает» — слова, которые каждый читает по-своему, и именно поэтому их удобно использовать. «Скоро» — не срок. «Практически решено» — не решено. Ни одно из этих выражений не является признаком обмана; они лишь означают, что содержательное утверждение ещё предстоит извлечь.

Обратная сторона: критика тоже бывает пустой

Тот же чек-лист применяйте к разоблачениям. «Это всё не работает» — такое же нефальсифицируемое заявление, как и «это всё меняет». У критики тоже есть источник, интерес и уровень свидетельства. Единичный пример неудачи говорит о возможностях системы ровно столько же, сколько единичный пример успеха: он показывает, что случай возможен, и ничего не говорит о частоте.

Шпаргалка

• Пять вопросов: кто, что именно, на чём основано, что опровергло бы, что меняется для меня.
• Уровень свидетельства важнее величины результата.
• Одинаковая строгость к восторгу и к разоблачению.
• Единичный пример — про возможность случая, а не про частоту.