Делаю HR-tech, пишу про поиск работы и сотрудников. Помогаю быстро найти it и digital специалистов.
да!
да ну
я сделал
Ловим по другому, когда у источника больше вакансии чем в среднем, это сигнал, дополнительной проверки, агент быстро смотрит видит-дубли и уже решает как схлопывать по какому то другому признаку, по совпадению названий, эмбедингам и пишет правила для этого источника на будущий парсинг.
Дубли ловим по описанию оно совпадает, а Город и название нет. Схлопываем их в одну. добавляем города в первую.
Чем больше источником тем чаще надо чинить. У нас многое собирается по апи, а то что парсится скрпингом, мы целиком Html анализируем, поэтому разметка не так критична. а вот изменения адресов -да. за несколько месяцев пару раз менялась адресация.
верно, это тоже отслеживаем.
присылайте
Еще можно эти будущие затраты сейчас вложить в seo или другие площадки.
а вы можете просто добавить 15% к стоимости,, кажется при повышении стоимости бензина повышаю стоимость логистики, в чем сложность?
Мы сначала делаем экстакшен и приведение к общей\нашей структуре потом уже векторизацию, поэтому эмбединги обшие. После каждого сбора проверки какие источники отвалились, стили хуже по наполнению -починка.