Handl — сервис разметки данных для машинного обучения от Dbrain

На платформе уже зарегистрировалось 25 тысяч человек, которые помогают размечать данные для технологических компаний и получают за это деньги. Сегодня Handl официально запускается после успешного альфа-тестирования, и теперь к проекту может присоединиться любой желающий.

Что такое разметка

Представьте маленького ребёнка, который ничего не умеет. Родители не будут объяснять, что котёнок — это маленькое животное с пушистым хвостиком. Такое описание подходит и щенку. Вместо этого они покажут много котят и щенят, поправляя ребенка до тех пор, пока он не научится отличать животных самостоятельно.

С искусственным интеллектом тот же принцип, который применим почти везде: ИИ распознает качество пиццы, преступников на улице и серьезные заболевания на ранних стадиях, но сначала ему надо показать тысячи примеров, где эту задачу уже решил человек, — другими словами, подготовил данные для машинного обучения. Это и называется разметкой.

Разметка данных — самая трудозатратная задача при создании ИИ: надо без ошибок разметить тысячи единиц информации. Мы в Handl придумали, как упростить весь процесс. Наши разметчики подключаются из любой точки мира и размечают данные — к примеру, определяют, что изображено на картинке, то есть ставят «метки». Так они готовят обучающую выборку для ИИ. Переняв знания людей, алгоритм успешно решает аналогичные задачи.

Сегментация текста на Handl

Как устроен процесс работы в Handl

Со стороны клиента. Клиент загружает данные, выбирает шаблон задачи (классификация, сегментация, ввод текста) и запускает её в работу. Разметчики выполняют задания. Если разметка требует специальных знаний вроде китайского языка или медицинского образования, можно привлечь своих исполнителей и использовать наш интерфейс.

Со стороны разметчиков. Разметчики регистрируются, проходят онбординг и получают доступ к задачам, зарабатывая до 3 долларов в час.

Механизм работы. Алгоритм консенсуса распределяет выплаты и следит за отсутствием ошибок: от качества разметки зависит точность распознавания будущей ИИ-модели. Система выплат работает так: как только люди размечают картинку, мы считаем объективное время, необходимое для этой задачи, а алгоритм консенсуса вычисляет коэффициент качества. Чем меньше времени затрачено на задачу и чем точнее она выполнена, тем больше начисление. Поэтому разметчики стараются выполнять задачи максимально качественно.

Мы уже разметили более 6 миллионов картинок, текстов и звуков для таких компаний как Nvidia, Nestle, Cherry Home. В отличие от других аналогичных сервисов, Handl сфокусирован только на задачах по подготовке данных для машинного обучения. Благодаря этому мы выполняем разметку с высокой точностью, скоростью и с меньшими затратами.

Кейс: молочная ферма

Коровам на ферме нужно правильно питаться, чтобы давать вкусное молоко. Но когда их сотни, проследить за состоянием каждой коровы сложно. Чтобы автоматизировать контроль за их здоровьем, мы разметили 143 тысячи изображений для обучения нейронной сети. Сначала люди размечали картинки, отвечая на вопрос «что тут изображено?», тем самым отсеивая коров от других животных.

Потом обводили коров по контуру, чтобы ИИ точно определил их местоположение. И наконец, работали с видео, указывая, что делает корова: ест, пьёт, лежит или ходит.

В итоге получилась нейронная сеть, которая мониторит здоровье коров и прогнозирует, как они будут себя чувствовать в будущем. Руководствуясь информацией с камер наблюдения, ИИ отслеживает поведение каждого животного по отдельности и выявляет аномалии — например, корова плохо ест или слишком долго лежит на земле. В этом случае система подаёт сигнал фермерам.

Выводы

Основная проблема в разработке ИИ — подготовить данные. Мы упростили этот процесс и запустили платформу, которая объединяет удалённых работников и технологические компании для создания искусственного интеллекта.

Сегодня мы запустились на Product Hunt. Посмотреть нашу страницу и оставить фидбек проекту можно здесь.

0
48 комментариев
Написать комментарий...
Валерий Артёмов

Хорошая работа - научи роботов, потом вообще не сможешь найти никакую работу )

Ответить
Развернуть ветку
Kate Khoshabova
Ответить
Развернуть ветку
Андрей Страдов

"Котёнок - это маленькое животное с пушистым хвостиком". Милота какая. =)))

Ответить
Развернуть ветку
Dbrain
Автор
Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Pavel Volyntsev

Тоже делал многопользовательскую сеть для распознавания еды на всех картинках, найденных на Tripadvisor, OpenTable, TheFork и Yelp. Довольно быстро делается. Исполнители были довольны - за час удаётся накликать очень много картинок. Картинки проходили через голосование (порог принятия решения - два голоса из трех должны указать, какой вид еды на картинке). За месяц обработали 1 500 000 картинок. Охват - крупные города Европы.

Я не нашёл способ заработать на этом. Была возможность показывать на карте мира, что именно находится в ресторанах и кафе рядом с указанной гео точкой в крупных европейских городах, но профита от этого никаго. Сервер для хранения данных и веб-приложения стоит немного. А вот работа операторов стоит намного дороже.

Ответить
Развернуть ветку
Shutov Danil

Распознование по типу: "хот дог / не хотдог"))

Ответить
Развернуть ветку
Pavel Volyntsev

Силиконовую долину не смотрел. Про "хотдог/не хотдог" мне буквально на днях рассказали.

Была такая хотелка - дать возможность людям найти не кафе и рестораны на карте, а конкретную еду. Кроме "хотдог" ещё можно было выбрать 20+ параметров что он хочет или не хочет ("здоровая еда да ; фасоль или соя нет" или "бургер да; курица или рыба да" или "суп или паста да; морепродукты нет").

Сами владельцы ресторанов такое заполнять не хотели. Вот и придумался сервис по определению вида и состава. Очень приблизительный, конечно.

Ответить
Развернуть ветку
Maxim Koltsov

Очевидно надо было продать базу большой корпорации

Ответить
Развернуть ветку
Volc O'Hara

да это как обычно. Сделать то сервис нынче не проблема. Вот продать его, вот это уже слегка посложнее

Ответить
Развернуть ветку
Иван Гуляев

Нужно написать нейросеть, которая будет размечать данные для другой нейросети 🤓

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Kate Khoshabova

По сегодняшнему курсу около 11 шекелей в час

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Дмитрий Сапожников

чет мало же?

Ответить
Развернуть ветку
Volc O'Hara

Лучше всего в йенах писать, их больше. Венесуэльские боливары тоже ничо, но уж больно быстро устаревают

Ответить
Развернуть ветку
Kate Khoshabova

Всем боливарским миллионерам посвящается

Ответить
Развернуть ветку
Volc O'Hara

фигня какая то, этого ж на рюмку кофе разве хватит

Ответить
Развернуть ветку
Андрей Кузнецов

видимо на уровне отгадывания капчи

Ответить
Развернуть ветку
Alex Delory

Зашел, 10 минут поотгадывал — 5 центов.

Ответить
Развернуть ветку
Игорь Горячев

А че у вас за буча в телеге в английском чате? народ пишет что вы не платите.

Ответить
Развернуть ветку
Dbrain
Автор

Это не разметчики, а участники баунти-программы, с которой мы пока разбираемся. Что касается разметки — мы платим за каждую выполненную задачу, за тестовые –– в том числе. У нас есть русский чат (https://t.me/Dbrainchatru) в Телеграме с активными разметчиками. Присоединяйтесь!

Ответить
Развернуть ветку
Игорь Горячев

Ок, убедили, вы уж там разберитесь с ними))). Ждемс дельных заданий, а то кошечки и уточки закончились быстро).

Ответить
Развернуть ветку
Олег Ващуков

Надеюсь UX создания задания лучше чем у Толока

Ответить
Развернуть ветку
Dbrain
Автор

Попробуйте наше демо тут: https://try.handl.ai/

Ответить
Развернуть ветку
МАРИНА Кришталь

не работает ссылка https://my.handl.ai

Ответить
Развернуть ветку
Dbrain
Автор

Попробуйте зайти через VPN

Ответить
Развернуть ветку
Tony Urban

Круть, круть!

Ответить
Развернуть ветку
Ware Wow

anticaptcha проморгали рынок?

Ответить
Развернуть ветку
Al Po

подобное давно сделал Amazon - Mechanical Turk, вроде?

Ответить
Развернуть ветку
Pavel Volyntsev

Клиентский софт у исполнителей на MTurk не предназначен для работы с разметкой графики. Теги поставить могут (корова, овца, автомобиль).

Ответить
Развернуть ветку
Dbrain
Автор

В отличие от MTurk Amazon и других аналогичных сервисов, Handl сфокусирован только на задачах по подготовке данных для ИИ. Благодаря этому мы выполняем разметку с высокой точностью, скоростью и с меньшими затратами.

Ответить
Развернуть ветку
Art.Spark

развод какой то
на 5 центов котиков щелкаешь, потом в подписоте сиди, типа "заданий нет".
разве не изза "огромного обьема работ" вы и запустили сервис ? ....

Ответить
Развернуть ветку
Dbrain
Автор

Мы молодой проект –– у нас пока непостоянный поток задач. Последняя разметка была на прошлой неделе, следующая совсем скоро!

Ответить
Развернуть ветку
Vladimir Ivanov

А сервис позволяет размечать такие данные как тексты или звуки?

Ответить
Развернуть ветку
Dbrain
Автор

Да, у нас уже есть опыт разметки текстов (звуки тоже скоро прикрутим). Какие еще инструменты для разметки доступны — смотрите здесь: https://try.handl.ai

Ответить
Развернуть ветку
Николай Васильев

Интересно, а какие мощности использовали? Случайно не видеокарты (GPU) от REG.RU?

Ответить
Развернуть ветку
Иван Гуляев

Да, Николай Васильев, aka 3 часа аккаунту и один единственный коммент.
Именно так.

Ответить
Развернуть ветку
Miroslav Svobodin

Так можно или нет у вас работать с планшета? Ранее траблы были при работе с ним. Уже исправили?

Ответить
Развернуть ветку
Dbrain
Автор

Пока не исправили, но обязательно сделаем. Как будет готово — сообщим!

Ответить
Развернуть ветку
Volc O'Hara

обычный вопрос любого VC "What problem does it solve?"

Ответить
Развернуть ветку
Dbrain
Автор

Подготовка данных — самый трудозатратный этап в разработке ИИ. Нужно разметить тысячи картинок, текстов или звуков, на которых будет обучаться ИИ-модель. Мы упростили весь процесс и создали платформу, где технологические компании могут быстро и качественно разметить данные.

Ответить
Развернуть ветку
Volc O'Hara

Вы не поняли вопроса.

Какую проблему бизнеса это решает;
Что они используют сейчас как альтернативу;
Чем ваше решение лучше.

ИИ модель сама по себе никому не интересна

Ответить
Развернуть ветку
Dbrain
Автор

С проблемой разметки данных сталкиваются data science отделы крупных компаний. У них есть два пути: сделать внутренний инструмент, под который надо искать сотни разметчиков, или использовать существующие на рынке решения — такие как Scale. В отличие от других платформ мы даем лучшее качество за более доступную цену: во-первых, у нас сильный обучающий онбординг и коммьюнити с поддержкой 24/7. Во-вторых, мы используем алгоритм консенсуса, который не пропускает ошибки.

Ответить
Развернуть ветку
Mihail

Можно ли видео размечать?
Что делают люди агрессия, человеку плохо?

Ответить
Развернуть ветку
Dbrain
Автор

можно)

Ответить
Развернуть ветку
Mihail

Есть готовые решения?

Ответить
Развернуть ветку
Имя Фамилия

написано, всё конечно хорошо, НО где нужно зарегаться или куда написать, чтоб стать разметчиком, или хотя бы пройти тест? об этом ни слова...с удаленными рабочими местами для 25К разметчиков - очень смахивает на вранье(читай пиар).

Ответить
Развернуть ветку
45 комментариев
Раскрывать всегда