Разметка данных: как на самом деле учат нейросети

Когда нейросеть безошибочно находит кошку на фото, это выглядит как магия. Но за магией стоит скучная правда: сначала люди вручную отметили кошек на миллионах снимков. Это разметка данных — самая трудоёмкая и недооценённая часть искусственного интеллекта.

Что такое разметка

Разметка — присвоение данным правильных ответов (меток), на которых модель будет учиться. Примеры:

• на фотографиях отметить, где кошка, а где собака;
• пометить письма как «спам» или «не спам»;
• выделить в тексте имена, даты, компании;
• проставить тональность отзывам: позитив, негатив, нейтрал.

Размеченный датасет — это учебник с ответами. Модель смотрит на пример, видит правильную метку, ошибается, корректируется — и так миллионы раз, пока не научится ставить метки сама.

С учителем и без

Разметка нужна не всегда — зависит от типа обучения:

Большинство практических задач (распознавание, классификация, предсказание) — обучение с учителем, и они требуют разметки. Именно поэтому размеченные данные — дефицитный и дорогой ресурс.

Ручной труд за «магией»

Ключевое, что стоит понять про ИИ: за автоматизацией стоит колоссальный ручной труд разметки. Целые команды людей отмечают объекты, проверяют качество, разбирают спорные случаи. Часть процесса автоматизируют, но сложное и контроль остаются за человеком.

Отсюда экономика ИИ: собрать и разметить данные часто дороже и дольше, чем обучить саму модель.

Почему ошибки разметки критичны

Модель принимает метки за абсолютную истину и учится на них буквально. Из этого следует опасное:

• Ошибки переходят в модель. Ошиблись разметчики — ошибётся и модель, причём уверенно.
• Предвзятость переходит тоже. Если разметчики систематически судили предвзято, модель выучит это предубеждение.
• Исправить трудно. Проблема не в алгоритме, а в данных; чтобы починить, нужно переразмечать и переобучать.

Это конкретное воплощение принципа «мусор на входе — мусор на выходе». Качество разметки определяет потолок качества модели, и никакая архитектура его не поднимет. Поэтому в серьёзных проектах за разметкой следят так же строго, как за кодом, — а следующая опасность после кривой разметки — переобучение на том, что модель приняла за закономерность.