Зачем мы создали еще один агрегатор удаленных вакансий

Всем привет! На связи опять Кирилл и Варя и у нас всегда «чешется» что-то запустить. За новогодние праздники (нууу, плюс-минус) мы запилили Bergamot, агрегатор remote-вакансий. Да, мы знаем, что сейчас конец мая. По определенным причинам мы откладывали и откладывали запуск (занимались другим).

И вот, пришло его время — хочется, чтобы продукт увидел свет, ну или что-то другое — тоже ок.

Нам показалось, что нет ни одного удобного агрегатора для поиска tech remote-вакансий. Они бесконечно появляются, но у них одни и те же проблемы, о которых расскажу ниже. Разработчики, с которыми мы пообщались, подтвердили этот тезис.

Опять же — видны проблемы, которые можно решить (с поиском, с релевантностью, свежестью вакансий). Делать «тяп-ляп» мы не хотим, поэтому приправили все ML-алгоритмами и прочим весельем.

Первая проблема заключается в том, что текущие агрегаторы собирают мало вакансий. Возьмем, например, один из самых больших агрегаторов CareerVault и сделаем поиск по навыку Python. В выдаче получаем всего 167 открытых позиций. Уверен, что никто из вас не поверит, что в мире всего 167 открытых удаленных вакансий для Python разработчиков.

Чтобы подтвердить тезис «агрегаторы собирают мало вакансий», я провел небольшой эксперимент. С помощью всемогущего Google искал удаленные вакансии и проверял, есть ли ли она на агрегаторе, например позицию Senior Software Engineer в Zillow. Полчаса поисков и вот: вакансии нет ни на одном агрегаторе.

В целом, причину этого я понимаю. Расскажу об этом далее.

Агрегаторы вакансий поверхностно оценивают «удаленность» вакансии. После детального изучения всех агрегаторов remote-позиций стало ясно, что:

Почему это происходит? Расскажу также чуть ниже.

Вообще эту проблему можно разделить на две части:

Иногда компании устанавливают ограничения для граждан некоторых стран. И ни у одного известного мне агрегатора (опять же, не путать с джоб-бордами) фильтра по гражданству нет. Поэтому пользователю приходится внимательно читать текст каждой вакансии, чтобы понять, есть ли вообще смысл откликаться или вакансия точно не для него (нее).

Похожая проблема и с часовыми поясами, но, по моему опыту, она встречается реже. Да и сменить рабочие часы для разработчика часто не проблема (немало людей, к примеру, любят работать по ночам).

Очередная банальная, но от этого не менее важная проблема. Текущий поиск на агрегаторах можно сравнить разве что с поиском на классических работных сайтах в начале 2000-х:

Всё это дурацкие проблемы, которые можно попробовать решить.

Сегодня мы запустились на ProductHunt, и, если у вас есть желание нас поддержать, найдите Bergamot в списке и — вы знаете, что нужно сделать.

Перед тем, как описывать решение, поясню, в чем я вижу причину того, что агрегаторы собирают относительно мало вакансий. Большинство из них агрегируют вакансии только с удаленных джоб-бордов, где компании платят за размещение. Не трудно догадаться — на таких сайтах публикуют далеко не все вакансии. Поэтому и агрегация получает неполной.

Чтобы решить эту проблему, я решил собирать вакансии ещё и напрямую с карьерных страничек компаний. Такие страницы есть у почти всех компании, которые пользуются современными Applicant Tracking Systems (например Lever или Greenhouse).

В результате нам удалось собрать самое большое количество вакансий в одном месте. Но, конечно же, есть ряд идей, как увеличивать покрытие и дальше. Например, собирать удаленные вакансии с Linkedin.

Опять же, сначала о причинах текущих проблем. Не могу утверждать со 100%-ой вероятностью, но я почти уверен, что при сборе вакансий текущие агрегаторы используют одну из двух стратегий.

Стратегия №1. Забирать вакансии, где в качестве локации стоит слово «remote». С одной стороны, это гарантирует что это удаленная вакансия. С другой, так отсекается множество позиций, где сам факт «удаленности» так или иначе отмечен в тексте.

Стратегия №2. Забирать вакансии, где в тексте есть упоминание слова «remote». Опять таки, так можно кратно увеличить количество удаленных вакансий, но это будет сделано в ущерб качеству. В выборку будут попадать псевдо-удаленные вакансии (с формулировками, например «partly remote»).

Сначала я хотел написать простой алгоритм на регулярных выражениях. Но в процессе я нашел столько кейсов, означающих псевдо-удаленку, что решил пойти по хардкору и написал отдельный ML-классификатор.

По моим оценкам работает алгоритм корректно в 87%+ случаев. Но главное — механизм дообучения модели понятен: со временем этот показатель будет улучшаться.

Выше я описывал две части проблемы, поэтому приведу две части решения.

Это, наверное, самая сложная проблема, которую мне пришлось решать в ходе работы над проектом. Изначально я также, как и в случае решения проблемы №2 хотел просто написать некий алгоритм, который будет выделять ограничения по гражданству из текста. Но в ходе анализа всё оказалось гораздо сложнее. Помимо очевидных алгоритмизируемых «only for US applicants» было множество других формулировок (например «This specific role is open to remote candidates based in European Union (a must for us»). Быстро стало понятно, что просто алгоритмом это не решить. Да на самом деле, до задачи классификации ML-ем тоже ещё надо было дойти. Но об этом я, пожалуй, расскажу в отдельном материале.

Я разбил проблему на части:

Все бы хорошо, но есть проблема - уделять развитию проекта на данный момент много времени мы не можем. При это уже есть неплохой трекшн и пачка гипотез на проверку. Так что, если вы хотите позаниматься, прости господи, growth hacking-ом и вам было бы интересно позаниматься с нам данным проектом, то можете писать мне напрямую в Telegram @kirillnikolaev.