Карта задач над текстом и выбор формулировки

Обработка естественного языка (NLP) · Урок 1 / 24

Формулировка задачи решает больше, чем выбор модели

Просьба «сделать нам анализ отзывов» не является задачей. Из неё нельзя собрать обучающую выборку, нельзя написать инструкцию разметчику и нельзя посчитать, стало лучше или хуже. Первое, что делает инженер, — переводит запрос в одну из немногих типовых форм, у каждой из которых свой формат ответа, свои метрики и своя цена ошибки.

Пять форм, к которым сводится почти всё

Классификация. Вход — фрагмент текста, выход — метка из закрытого списка: тема обращения, тональность, спам, язык, приоритет. Метка одна или несколько, но список известен заранее.
Извлечение. Вход — документ, выход — набор фрагментов с их типами и позициями: сумма, дата, номер договора, название организации. Ответ привязан к месту в тексте.
Поиск и сходство. Вход — запрос, выход — упорядоченный список документов. Разбирается в курсе про векторы и поиск по смыслу; здесь достаточно помнить, что метрика тут ранговая, а не поштучная.
Преобразование. Вход — текст, выход — другой текст: перевод, сокращение, переписывание в другой регистр. Эталона в единственном числе не существует.
Вопрос-ответ. Вход — вопрос плюс источник, выход — ответ с указанием, откуда он взят. Ключевое отличие от преобразования: ответ обязан быть подтверждён источником.

Одна бизнес-потребность — разные формулировки

«Понять, чем недовольны клиенты» разворачивается минимум в три разные системы. Классификация по списку из двенадцати причин недовольства даёт цифры для дашборда, но требует, чтобы список причин уже существовал и был полным. Извлечение упомянутых объектов и претензий к ним даёт детализацию, но собирать статистику по свободным формулировкам труднее. Кластеризация без списка находит темы, о которых никто не думал, но её результат нельзя сравнить между кварталами. Правильного ответа нет — есть выбор, который делают до сбора данных, а не после.

запрос заказчика        формулировка              выход              метрика
«разбирать почту»    -> классификация 8 классов   метка              полнота по редким
«вытащить реквизиты» -> извлечение 6 полей        поля + позиции     точность по полю
«найти похожее»      -> ранжирование              список из 10       попадание в топ-5
«сделать выжимку»    -> преобразование            текст              оценка человеком

Проверка формулировки до старта

Годная формулировка проходит три теста. Первый: можно взять один реальный пример и записать правильный ответ целиком, ничего не додумывая. Второй: два человека, прочитав вашу инструкцию, дадут на этом примере одинаковый ответ. Третий: существует число, которое посчитают на отложенной выборке, и заранее известно, какое его значение считается достаточным. Если хоть один тест не проходит, вы ещё не на этапе выбора модели.

Инсайт. Потолок качества задаётся не моделью, а согласованностью людей на этой задаче. Если два разметчика расходятся на четверти примеров, ни одна система не покажет больше семидесяти пяти процентов, и покупка более сильной модели ничего не изменит.

Частая ошибка. Начинать с выбора инструмента. Вопрос «взять готовую модель или обучить свою» бессмысленно обсуждать, пока не описан формат ответа и не назван способ измерения, потому что оба варианта решают любую формулировку одинаково плохо.

Про-совет. Заведите файл с двадцатью реальными примерами и вручную проставленными ответами до первой строки кода. Он превратится в приёмочный тест, инструкцию для разметки и материал для примеров в запросе к модели одновременно.

Шпаргалка

Задача над текстом сводится к классификации, извлечению, поиску, преобразованию или ответу с источником.
Одна потребность разворачивается в несколько формулировок с разной ценой и разными метриками.
Формулировка годится, если ответ записывается вручную, воспроизводится вторым человеком и измеряется числом.
Двадцать размеченных примеров заводят до выбора инструмента.

1. Почему просьба «сделать анализ отзывов» не является постановкой задачи?

2. Чем извлечение отличается от классификации по формату выхода?

3. Что определяет потолок качества системы на задаче с ручной разметкой?

🔒 Ответьте на вопрос верно, чтобы перейти к следующему уроку.