Разметка данных для обучения нейросетей

Создаем обучающие выборки с размеченными текстами.

Задачи

Разметка именованных сущностей в текстах (персоны, компании, бренды, географические объекты и т.п.).

Классификация текстов.

Анализ тональности.

Разметка датасетов из открытых источников.

Кому может быть интересно

Разработчики систем искусственного интеллекта

которым требуются размеченные текстовые датасеты больших объемов для обучения нейросетей.

Как решаем

Сбор данных

Получаем от заказчика массив неразмеченных текстов, либо собираем данные с интересующими заказчика параметры самостоятельно:

Загружаем данные от внешних поставщиков (например, поток сообщений из соцсетей и материалы СМИ);
Собираем тексты самостоятельно из открытых источников (интересующие заказчика сайты, форумы, каналы и группы в соцсетях);
Собираем данные через поисковые системы.

Обработка и разметка данных

Предварительная очистка данных;
Разметка текстов:
- Именованные и неименованные сущности;
- Тематическая классификация;
- Тональность;
- Факты.

Формирование датасета

Создаем итоговый датасет в необходимом заказчику формате (например, JSON, XML, TXT).

Используем продукты

RCO Fact Extractor SDK

Извлечение именованных сущностей и фактов, определение тональности

RCO Text Categorization Engine

Тематическая классификация текстов

Примеры

Телеком-оператор

Разработчики компании создавали нейросеть, которая должна была обрабатывать сообщения клиентов и классифицировать их по типам. Для этого требовалось предварительно разметить по тематическим категориям исторический архив сообщений, который имелся у компании.