Я выбрал задачи, связанные с переводом и пониманием языка. Они оказались не столь простыми как я думал.
Например, оценить релевантность ответов бота в диалоге было сложно из-за двусмысленных реплик, которые могли толковаться как подходящие и нет.
Но особенно пришлось напрягать извилины, чтобы сравнить два варианта машинного перевода одного предложения и выбрать тот, который выполнен лучше. Во-первых, там были сложные критерии оценки, запутаешься пока разберешься, а во-вторых требовался реально нормальный уровень знаний, чтобы заметить разницу типа few / a few.
Были и другие задания — проверить правильность ударений, отмодерировать текст на Дзене и пр. Там были очень длинные инструкции, которые нормальный человек в своем уме читать не станет. Потраченное на прохождение обучения время, конечно, не оплачивается.
В итоге выполнил 12 заданий, одно из которых отклонили, и заработал $0,06.
К чему я это все. Чтобы улучшать качество NLP-моделей, очевидно, нужно привлекать все более высококвалифицированных людей для проверки. Но кто согласится это делать за такие деньги?
Я обычно с другой стороны, как заказчик. Это прям искусство ясно понятно и коротко написать инструкцию. Причём по инструкциям видно, какПю моё отношение к исполнителям прогрессирует.
Сперва думал так : им плевать на твой проект, просто хотят быстро прокликать и получить свои пару центов. Система рейтинга, грамотные фильтры и баны помогли поверить, что исполнителей можно вовлечь, объяснить что и для чего они делают, получать качественные результаты разметки данных.
Общение с исполнителями - отдельная история. Иногда прилетают крайне токсичные сообщения в стиле "криворукие программисты, ни**я не умеете, из-за вас разруха в стране". Большинство же сообщений крайне грамотные, написаны с сопереживанием и предлагают действительно полезные правки к проектам.
Как-то раз опробовал Толоку в роли пользователя.
Я выбрал задачи, связанные с переводом и пониманием языка. Они оказались не столь простыми как я думал.
Например, оценить релевантность ответов бота в диалоге было сложно из-за двусмысленных реплик, которые могли толковаться как подходящие и нет.
Но особенно пришлось напрягать извилины, чтобы сравнить два варианта машинного перевода одного предложения и выбрать тот, который выполнен лучше. Во-первых, там были сложные критерии оценки, запутаешься пока разберешься, а во-вторых требовался реально нормальный уровень знаний, чтобы заметить разницу типа few / a few.
Были и другие задания — проверить правильность ударений, отмодерировать текст на Дзене и пр. Там были очень длинные инструкции, которые нормальный человек в своем уме читать не станет. Потраченное на прохождение обучения время, конечно, не оплачивается.
В итоге выполнил 12 заданий, одно из которых отклонили, и заработал $0,06.
К чему я это все. Чтобы улучшать качество NLP-моделей, очевидно, нужно привлекать все более высококвалифицированных людей для проверки. Но кто согласится это делать за такие деньги?
Я обычно с другой стороны, как заказчик. Это прям искусство ясно понятно и коротко написать инструкцию. Причём по инструкциям видно, какПю моё отношение к исполнителям прогрессирует.
Сперва думал так : им плевать на твой проект, просто хотят быстро прокликать и получить свои пару центов. Система рейтинга, грамотные фильтры и баны помогли поверить, что исполнителей можно вовлечь, объяснить что и для чего они делают, получать качественные результаты разметки данных.
Общение с исполнителями - отдельная история. Иногда прилетают крайне токсичные сообщения в стиле "криворукие программисты, ни**я не умеете, из-за вас разруха в стране". Большинство же сообщений крайне грамотные, написаны с сопереживанием и предлагают действительно полезные правки к проектам.