Три разработки студентов Инженерно-математической школы VK и Вышки
От психолингвистики до нового механизма внимания
Инженерно-математическая школа (ИМШ) — совместный образовательный проект VK и НИУ ВШЭ, где студенты во время учёбы решают реальные технологические задачи. В материале студенты делятся рассказом о своих проектах, учёбе в ИМШ и опыте работы над кейсами — от бенчмарка для мультимодальных моделей до ИИ-психолога.
Кейс: русскоязычный бенчмарк для визуально-языковых моделей
Проблема: почти все популярные бенчмарки заточены под западный контекст. Наша культура, мемы, исторические личности и географические реалии остаются за бортом. Оценка отечественных VLM по англоязычным тестам может давать искаженный результат.
Решение: студент ИМШ и младший разработчик VK Игорь Рябков под руководством наставника Александра Рогачёва создал собственный бенчмарк, учитывающий локальную специфику. С его помощью уже определили лучшую open source-модель для задач в России. Инструмент сейчас используется внутри VK для оценки и сравнения мультимодальных моделей.
Я проанализировал свежие статьи о VLM. Опыт в мастерской за несколько месяцев сравним с годами самостоятельной работы. И да, полученные в проекте знания очень помогли на собеседовании в VK.
Кейс: оптимизация архитектур нейронных сетей для обработки последовательностей, включая языковые модели
Проблема: механизм внимания — сердце всех современных трансформеров, от LLM до CV, но он вычислительно сложный. Чем длиннее последовательность, тем дороже инференс и обучение.
Решение: студент ВШЭ Павел Алексеев работает над линейным механизмом внимания, который поддерживает двунаправленность (в отличие от многих быстрых аналогов вроде Mamba) и при этом не требует экзотической низкоуровневой реализации. Задача — сделать модель значительно быстрее при меньших требованиях к «железу».
Проект ещё в разработке, но цель амбициозная. В ИМШ я перестал программировать на автопилоте — теперь постоянно спрашиваю «Почему?» и читаю первоисточники, а не пересказы.
Кейс: психолингвистический анализ, или когда ИИ понимает эмоции
Проблема: существующие NLP-модели не видят разницы между «я зол» и «у меня всё плохо», они не обучены на реальных данных из психотерапевтической практики. В чувствительных сферах (кризисные состояния, обратная связь) это делает ИИ бесполезным или опасным.
Решение: Сергей Павлухин с командой работает над созданием инструмента, который анализирует состояние собеседника как психолог: выделяет эмоции и отслеживает смену настроения внутри диалога.
Сергей спроектировал полноценное веб-приложение для многоуровневой разметки данных (с ролевой моделью и контролем качества). Проект уже победил на конкурсе НИРС ВШЭ в номинации «Лучшая работа по психологии».
Научная работа, основанная на проекте, заняла первое место. Меня теперь часто спрашивают об этой разработке на собеседованиях. В ИМШ я научился переводить неформализованные психологические концепты на язык ML.
Мнение экспертов VK и менторов программ VK Education с вузами
Разработанные датасеты и метрики позволяют сравнивать разные VLM-модели и отслеживать прогресс при их дообучении. Наличие русскоязычных бенчмарков помогает быстрее понимать, какие модели лучше подходят для реальных продуктов, с чем они справляются, а где требуется доработка
Ребята прошли полный путь: от интервью со специалистами до выкатки модели. Это уровень ответственности синьора или тимлида. Те, кто улучшит понимание психологии моделями, получат доступ к задачам, которые пока никто не решал.
Как попасть в Инженерно-математическую школу ВШЭ и VK
P.S. Главный совет от студентов ИМШ: меньше волнения, больше чтения первоисточников — и VC.ru, разумеется.