Попробовал Live translate от Google в жизни
Я немного пропал из-за поездки в Испанию. Но зато тут у меня заработали Гугл сервисы, которые не работали в России, в частности Live translate (он же «живой перевод»). Так что я его потестил в живых диалогах с настоящими испанцами, ибо сам я «no hablar español» (то есть не бум-бум по Испански 😁)
О чем речь
Гугл 9 июня выкатили новую Gemini 3.5 Live translate — speech2speech модель для перевода. Штука многообещающая, тк последнее время бигтехи сильно разгоняют тему с живым переводом и всегда страдают от того, что живой диалог с такими переводчиками «спотыкается» о кринжовые паузы, пока модель-переводчик «подумает». В этом время собеседники переминаются с ноги на ногу и тупо улыбаются друг другу. А в глазах читается «гля, какая штуковина, ух! Ну подождём! Мда… такие дела… кхе 😬😬»
И вот Гугл говорит нам, мол хватит это терпеть! Никаких больше кринжовых пауз. Просто говори, а модель будет за тобой переводить почти сразу.
За счет того что модель переводит сразу аудио в аудио, без промежуточной транскрипции в текст, — перевод получается почти в реальном времени.
Его встроили в Google Translate, где можно запустить Live Translate в режиме диалога. В нем модель будет находу определять язык, на котором говорят собеседники, и переводить его сразу в речь на другом языке.
Впечатления смешанные
Технология в целом рабочая. Действительно с минимальной задержкой модель одновременно слушает и переводит. Но есть нюанс…
Как это было у меня:
- Я на улице достаю телефон и окликаю проходящего мимо испанца с собачкой. Начинаю диалог: здороваюсь и спрашиваю, где тут можно в окрестности погулять с собакой. Модель слушая меня, буквально с 3-го/4-го слова начинает ему озвучивать вопрос на испанском
- Испанец напрягается, потому что ему сложно слушать как говорю я что-то «на своём» и одновременно мой телефон пытается меня «перекричать» на Испанском. Но вопрос недлинный — терпимо
- Испанец дослушивает перевод и начинает отвечать. И напрягается ещё раз. Ответ его уже длинный и его в процессе говорения отвлекает моделька, которая его переводит. Я вижу, как он прикладывает усилие, чтобы фокусироваться именно на своей речи и не слушать перевод
- Тем временем модель опять начинает в параллель с ним болтать. Но только в этот раз она ещё и «проглатывает» часть перевода. Испанец что-то наговорил на минуту и 101 слово, а модель переводит мне «Привет… ам… да, вон там есть площадка для собак»
В итоге мы с испанцем оба с недоверием смотрим на переводчик и друг на друга, понимая, что часть диалога переводчик просто прохалтурил 🤔
В итоге, наговорить и прочитать транскрибированный перевод получается все равно надежнее, чем этот лайв режим.
Поэтому ответственно заявляю, что для живого общения фича с live переводом — мертворожденная.
Вангую, что сейчас фича останется только в цифровом мире для всяких зум звонков в лучшем случае. За счёт того, что там высокое качество речи, без уличного шума, и можно сразу автоматически приглушать аудио дорожку с самим голосом собеседника и слушать только перевод.
Возможно, это могло бы ещё работать, если бы мы оба были в наушниках, подключенных к одному переводчику. Но, конечно, ни у одного из нас их не было в моменте (или были в кармане, но кто их будет ради этого доставать…) Так что, пока все не перейдут на ушные импланты со встроенным переводом, как в киберпанке — это все баловство 😁
Подписывайтесь на Telegram Заместители.