Алексей Юдин
Junior NLP/LLM engineer. Делаю проекты с AI/LLM, участвую в хакатонах.
Благодарю. Да, реальность, где нейронки проверяют резюме, написанное нейронами не радостная. Поэтому и сделал подобный проект. И это только MVP - есть куда расти и какие специализированные скоринги и инструменты, уже разработанные теми же HR, тоже понимаю.
Спасибо! Уточняю, чт это был MVP за 2 недели. И проект с агентами был для меня в первый раз.
По агентам: сейчас на всех ролях одна модель - gpt-4.1-mini. Я подобрал её вручную по результатам ответов. В процессе разработки также были gpt-4.1-nano, gpt-5-mini.
Кросс-валидации в строгом смысле нет, но есть разделение ответственности: агент-критик перечитывает результат рерайтера и сверяет каждое утверждение с исходными фактами.
То есть модель одна, но роли и контексты разные - критик видит и профиль, и историю диалога, и итоговое резюме, и ищет то, чего пользователь не говорил.
Сравнительные тесты моделей по ролям я проводил в упрощенном режиме (архитектура под это готова: в config есть маршрутизация по тирам light/heavy), и поначалу раскидывал агентов по разным моделям - классификацию трека отдавал 4.1-nano, рерайтер с критиком оставлял на 4.1-mini, парсер - 5-mini. Но по итогу меня удовлетворили ответы и цена 4.1-mini, nano хуже держал структуру JSON, 5-mini дороже 4.1-mini без выигрыша в качестве.
Что измерял: точность классификации трека (90–100% на размеченном наборе реальных резюме) и grounding - выдумок не нашёл.
Прогнать это же по продуманным тестам с разными моделям и сравнить — следующий логичный шаг, спасибо за наводку.
1) Да. Я сам 1й раз попробовал этот IDE в марте этого года. И тогда у него было много проблем.
На старте же хакатона (июнь 2026) был зримый прогресс, да и по его ходу команда, получая feedback от участников, быстро фискала фичи, прикрутила marketplace, улучшала его, в начале июля вообще версию 2.1.0 выкатила. Короче, ребята растут в правильном направлении.
2) qwen-3.6 у них есть, как и остальные 100500 моделей этого семейства. Да, он дешевле. НО я сознательно для MVP использовал gpt-4.1-mini - то, что наверняка (по моему опыту в других проектах) будет работать с высоким качеством. Конечно при развитии JunMate я буду экспериментировать.
3) проверил цены gpt-4.1-mini, qwen3.6: на polza.ai они чуть выше, чем на kodikrouter. Но еще один агрегатор LLM не помешает.
Благодарю за комментарий 🤝