Google запустила в Индии аналог «Яндекс.Толоки» — компания будет платить пользователям за выполнение простых задач

За одну задачу пользователь может получить около $0,25-$0,50.

Google запустила в Индии аналог «Яндекс.Толоки» — компания будет платить пользователям за выполнение простых задач
1717

Как-то раз опробовал Толоку в роли пользователя.

Я выбрал задачи, связанные с переводом и пониманием языка. Они оказались не столь простыми как я думал.

Например, оценить релевантность ответов бота в диалоге было сложно из-за двусмысленных реплик, которые могли толковаться как подходящие и нет.

Но особенно пришлось напрягать извилины, чтобы сравнить два варианта машинного перевода одного предложения и выбрать тот, который выполнен лучше. Во-первых, там были сложные критерии оценки, запутаешься пока разберешься, а во-вторых требовался реально нормальный уровень знаний, чтобы заметить разницу типа few / a few.

Были и другие задания — проверить правильность ударений, отмодерировать текст на Дзене и пр.  Там были очень длинные инструкции, которые нормальный человек в своем уме читать не станет. Потраченное на прохождение обучения время, конечно, не оплачивается.

В итоге выполнил 12 заданий, одно из которых отклонили, и заработал $0,06.

К чему я это все. Чтобы улучшать качество NLP-моделей, очевидно, нужно привлекать все более высококвалифицированных людей для проверки. Но кто согласится это делать за такие деньги?       

13
Ответить

Я обычно с другой стороны, как заказчик. Это прям искусство ясно понятно и коротко написать инструкцию.  Причём по инструкциям видно, какПю моё отношение к исполнителям прогрессирует.

Сперва думал так : им плевать на твой проект, просто хотят быстро прокликать и получить свои пару центов. Система рейтинга, грамотные фильтры и баны помогли поверить, что исполнителей можно вовлечь, объяснить что и для чего они делают, получать качественные результаты разметки данных.

Общение с исполнителями - отдельная история. Иногда прилетают крайне  токсичные сообщения в стиле "криворукие программисты, ни**я не умеете, из-за вас разруха в стране". Большинство же сообщений крайне грамотные, написаны с сопереживанием и предлагают действительно полезные правки к проектам. 

3
Ответить