Lookupper: новый способ учить английский для геймеров. Часть 2.
В предыдущей части мы поговорили о том, как пришла идея создания приложения для изучения языков по играм и не только.
Теперь, давайте поговорим о том, что находится “под капотом”, а также какие изменения претерпело приложение с момента его запуска.
С чего всё начиналось:
На начальном этапе Lookupper обладал следующими функциями:
- Распознавание текста в игре с помощью Windows OCR.
- Всплывающее окно с переводом, которое отображалось поверх игрового процесса.
- Интеграция с OpenAI и DeepL для качественного перевода слов и фраз.
Lookupper вызвал интерес среди пользователей и даже на начальных этапах отмечалось удобство и простота использования. Но на этом работа не завершилась, а обратная связь от образовавшегося сообщества стала важным драйвером мотивации, помогая определить ключевые моменты улучшения функционала.
Масштабирование:
Работая с обратной связью от пользователей, Lookupper обрастал всё новыми возможностями. Так, например, ориентируясь на сообщения на форуме, были добавлены следующие функции:
- Контекстное аудио: возможность озвучивания слов и целых предложений.
- Экспорт в Anki: для интеграции Lookupper пользователем в свою систему обучения, просмотра и повторения сохраненных слов.
- Офлайн-словари: Oxford, Merriam-Webster и другие словари, которые можно устанавливать непосредственно в программе.
- Автоматическая пауза игры: приостановка игры при вызове перевода, чтобы игроки не пропускали важные моменты диалогов.
- Контекстный перевод: теперь Lookupper не просто переводит слова, но и анализирует смысл фразы и приложения, давая высокоточный перевод в контексте.
- Поддержка множества языков: на данный момент Lookupper поддерживает более 22 языка, включая английский, испанский, французский, немецкий, японский и китайский. Это делает его универсальным инструментом для изучения языка по всему миру.
Технологии:
Развитие Lookupper было бы невозможно без пользователей. Однако столь же важную роль сыграли современные технологии, которые легли в основу функциональности приложения.
Для реализации оптического распознавания символов (OCR) был использован Windows OCR с предпроцессингом OpenCV. Эта технология позволяет анализировать изображение, вычислять оптимальный режим обработки и формировать текст с высокой точностью.
Интеграция с API переводчиков: Обычный перевод через Google Translate не всегда даёт корректный результат, особенно в контексте игровых диалогов и специализированных терминов. Поэтому было решено использовать несколько API: ChatGPT и DeepL translator. Это позволило добиться перевода с учётом контекста игры или книги. Для повышения точности также внедрена система машинного обучения, анализирующая частотность фраз и терминов, что помогает адаптировать перевод под специфику проекта.
Работа с текстом в реальном времени: Перевод должен появляться мгновенно, иначе теряется смысл. Для этого разработана система кэширования, ускоряющая обработку повторяющихся фраз, и добавлен предварительный анализ предложений для адаптации перевода под контекст.
Создание удобного интерфейса: Для нативного взаимодействия использован WinUI 3 для Windows и SwiftUI для macOS. Оверлей выполнен минималистично и стильно, с возможностью подстройки темы под игру. Поддерживается изменение горячих клавиш и автоматическая подстройка темы (светлый/темный).
Будущее Lookupper:
Lookupper продолжает развиваться, становясь не просто инструментом для перевода, а полноценным помощником в изучении английского языка через игры. Благодаря обратной связи от сообщества и использованию передовых технологий, приложение постоянно совершенствуется, предлагая всё больше возможностей для комфортного и эффективного обучения. Я уверен, что Lookupper станет незаменимым спутником для геймеров, которые хотят не только наслаждаться игровым процессом, но и улучшать свои языковые навыки. Следите за обновлениями — впереди ещё много интересного!