Что такое датасет и где брать открытые данные

Любой разговор про обучение ИИ начинается с одного слова — датасет. Это материал, на котором модель учится; и как ученик зависит от учебника, так нейросеть зависит от данных. Разберём, что такое датасет, из чего состоит, почему его обязательно делят на части и где взять данные, не нарушив чужих прав.

Из чего он состоит

Чаще всего датасет — это таблица, и её устройство проще, чем кажется:

• строки — отдельные примеры: клиент, сделка, фотография, письмо;
• столбцы — признаки этих примеров: возраст, сумма, размер, длина текста;
• метка — правильный ответ, если он есть: ушёл клиент или остался, спам или не спам.

Пример: модель предсказывает отток клиентов. Строка — клиент, признаки — сколько платит, как давно с компанией, как часто обращается в поддержку. Метка — ушёл он в итоге или нет. Модель учится связывать признаки с меткой, чтобы предсказывать ответ для новых клиентов, у которых метки ещё нет.

Отсюда сразу видна главная зависимость: набор признаков определяет потолок качества. Если в данных нет ничего, что реально связано с оттоком, никакой алгоритм эту связь не выдумает. Поэтому в серьёзных проектах на подготовку данных уходит больше сил, чем на саму модель.

Три части и зачем они нужны

Датасет почти всегда делят, и это не бюрократия, а защита от самообмана.

Логика простая. Если проверять модель на тех же примерах, на которых она училась, она покажет блестящий результат — но не потому, что поняла закономерность, а потому, что запомнила ответы. Это переобучение, и без отложенной тестовой части его невозможно заметить: все метрики будут радужными до самой встречи с реальностью.

Валидационная часть нужна отдельно от тестовой, потому что настройка — тоже форма обучения. Если подбирать параметры по тесту, вы косвенно «подгоняете» модель под него, и тест перестаёт быть честным.

Утечка данных — самая коварная ошибка

Отдельно стоит разобрать то, что обесценивает всю работу и при этом внешне выглядит как успех.

Утечка данных — ситуация, когда в обучение попадает информация, которой в реальный момент прогноза не будет. Три типичных случая:

• Тест попал в обучение. Данные перемешали неаккуратно, часть тестовых примеров оказалась в обучающей выборке.
• Признак содержит ответ. Предсказываем болезнь, а среди признаков есть «назначено лекарство от неё». Модель просто читает ответ.
• Данные из будущего. Предсказываем отток, а в признаках — «дата закрытия счёта». В момент реального прогноза этой информации ещё нет.

Симптом всегда один: подозрительно хорошие метрики. Если модель выдаёт почти идеальную точность на непростой задаче — это чаще утечка, чем гениальная архитектура. Проверять признаки на утечку стоит до, а не после — этому посвящён чек-лист качества данных.

Где брать данные и как не нарушить лицензию

Для учёбы и экспериментов открытых источников хватает с избытком:

• Kaggle — соревнования и десятки тысяч наборов с описаниями;
• Google Dataset Search — поиск именно по датасетам, а не по страницам;
• порталы открытых данных — государственные и городские, часто с реальной статистикой;
• UCI Machine Learning Repository — классические учебные наборы, на которых написана половина учебников.

Важный момент, который обычно пропускают: открытый доступ и свободная лицензия — не одно и то же. Датасет может быть доступен для скачивания, но запрещён к коммерческому использованию; может содержать персональные данные, собранные без согласия; может быть скомпилирован из источников с несовместимыми лицензиями. Перед тем как строить на данных продукт, проверьте условия использования и происхождение — это дешевле, чем переделывать потом.

Второй фильтр — качество и репрезентативность. Данные неясного происхождения нередко несут смещение, которое перейдёт в модель незаметно. Следующий шаг после сбора — разметка, с которой начинается собственно обучение, а сколько данных вообще нужно, разобрано отдельно.