Google DeepMind представила AI-модель для перевода жестового языка

Google DeepMind представила модель Sign Language-to-Text (SL2T) для машинного перевода жестовых языков. Модель, изначально переводящая ASL на английский, предназначена для повышения доступности коммуникации для глухих и слабослышащих. SL2T использует более чем 100 000 часов обучающих данных из 50 жестовых языков, систему отслеживания движений MediaPipe Holistic и систему отслеживания движений исполнителя. Первоначальное тестирование показало BLEURT-результат 70 баллов, значительно превышающий предыдущие модели. Интеграция в Gboard и Live Transcribe на Pixel 11. Разработка осуществляется с участием AI Sign Language Advisory Committee (AISLAC). Компания планирует расширение на другие языки и устройства, а также генерацию жестового языка для достижения универсальной доступности.