Graspp — новый способ переводить слова в книгах. Пальцем

Привет. Мы придумали и сделали приложение Graspp. Это словарь и переводчик с новой (то есть вообще новой) механикой. Работает это так: показываешь пальцем на незнакомое слово прямо в книге, наводишь камеру и видишь перевод. Всё! Теперь это самый удобный способ переводить слова в печатном тексте.

Рассказал, для кого и как мы сделали «еще один переводчик». А главное — зачем, ведь «гугл тоже так умеет». А вот видео, как это работает

Пока Graspp есть только на iOS. Сразу две версии решили не делать, а кроссплатформенным приложение не получится: слишком много нативных технологий.

Идея

Когда читаешь на английском, встречаются незнакомые слова. Если текст на экране, с этим нет проблем: в айфоне есть встроенная функция Look up — в два клика можно узнать значение любого слова.

На macOS это работает еще удобнее: один «тройной тап» и готово. За словом в карман лезть не приходится. В крайнем случае выручают старые добрые сtrl+c и ctrl+v. Ну, вы поняли.

Но если вдруг приходится иметь дело с печатным текстом…

Да, на дворе наш любимый 2020 год, но для текста в офлайне нормального способа посмотреть перевод нужного слова нет (то есть не было). Рассмотрим варианты.

Перепечатывать текст вручную. Видишь слово в тексте, разблокируешь телефон, открываешь переводчик, набираешь на клавиатуре нужное слово, видишь перевод. SO 2008. Но спасибо, что не нужно листать бумажный словарь.

Второй вариант: использовать какой-то AR-фото-переводчик, вроде того, что есть в Google Translate. Но с ними одна проблема. Они. Абсолютно. Не. Предназначены. Для. Книг! Переводится весь текст, сложно понять, где слово, которые ты искал. Если текста много, все будет выглядеть вот так (извините)

Принес вам немного слов

И вообще: я хотел читать неповторимый оригинал в книге, а не машинный перевод у себя в смартфоне. Или зря я ждал три месяца это «очень редкое издание книги про шрифты» с Amazon?

It should be different

В один из таких моментов (смотреть иллюстрации выше) на меня снизошел дух Стива Джобса, и я подумал: а что, если просто показывать на нужное слово пальцем, наводить камеру и видеть перевод? Извините, здесь не будет долгой истории о том, как я общался с потенциальными пользователями, проводил «кастдев», изучал рынок. Я просто устал смотреть по десять слов на странице и подумал: палец.

«Такое уже есть»

Каждый раз, когда в голову приходит гениальная идея, тебя охватывает озноб и напряжение. Кажется, надо начать делать это прямо сейчас, иначе кто-то другой сделает быстрее. Как правило, первый же поиск в Google охлаждает этот пыл. Оказывается, что кто-то уже:

  • поднял на этом $10 млн.
  • имеет многомиллионную аудиторию.
  • живет в своем доме в Маунтин Вью.
  • ездит на Tesla, носит Apple Watch.

С этими мыслями я залез в App Store и стал смотреть все переводчики подряд. Хм, нету. Погуглил. “Point with finger to translate”. Пусто. “Translate with your finger” — ничего. В таком режиме я провел несколько дней и ничего не нашел. Я ликовал.

Better call Egor

Я позвонил Егору Дубовицкому, своему бывшему коллеге. Мы проработали вместе несколько лет в агентстве. Потом я ушел строить сольную карьеру. Егор еще немного поработал — и тоже ушел. Я помнил, что Егор всегда любил печатные книги (и комиксы!), всегда думал перед тем, чтобы что-то рисовать. А это редкость. Поэтому я позвонил Егору.

Через несколько дней мы сидели у меня дома и водили пальцами по странице, указывая на рандомные слова. Егор согласился, что идея отличная. И набросал первый прототип.

Первый прототип Graspp

Это первый скетч Graspp: в целом, ничего не поменялось. У нас есть по-прежнему онбординг, экран, чтобы переводить и Sleep Mode. Ах, да. Sleep Mode был сразу частью идеи с пальцем. Это режим, в который переходит приложение, когда ты кладешь телефон на стол.

Sleep Mode выключает камеру и показывает на экране последние переведенные слова. Это экономит батарейку и не отвлекает. А когда берешь телефон в руку — приложение сразу «просыпается». Работает это так:

Не знаю, почему это не придумал кто-то до нас! Горжусь «Слип Модом», как родители гордятся, когда их ребенок выиграл городскую олимпиаду по математике

Как мы искали инвестора

Еще раз извините, но здесь не будет истории о том, как мы искали инвестора: моя девушка просто пошла в пекарню (шутить про булочки можно здесь), встретила нашего близкого друга и рассказала ему об идее. Через несколько дней мы встретились за обедом и решили делать.

“I’m up all night to get Lucky”

Нам повезло быстро найти очень хорошего iOS-разработчика. По имени Лаки! В этот момент я начал представлять свой дом в Маунтин Вью (на самом деле нет).

Путь к прототипу

Сначала я был уверен (и, разумеется, рассказал нашим инвесторам), что воплотить задуманное не составит труда: для распознавая пальца наверняка есть готовое opensource-решение. Подсветить нужное слово тоже несложно: взял, да и подсветил!

Для распознавания слов можно взять одну из множества OCR-библиотек. «Нам нужно просто соединить эти технологии и — ВЖУХ — у нас рабочий продукт».

За первую неделю работы стало понятно, что примерно все из этого не совсем так, как я думал. Например: одни OCR-библиотеки все умели, но отказывались работать в риалтайме. Другие работали, но не выдавали все, что нужно.

Подсветить (выделить) слово, на которое указывает палец, оказалось непросто: из-за нестабильного распознавания от фрейма к фрейму выделение либо дергалось, либо при смягчении, наоборот, «плавало». Для решения этой проблемы пришлось использовать ARKit — так мы стали стартапом в области дополненной реальности :)

Магия ARKit — вы только посмотрите, как приятно выделяются слова на этом видео!

Готового решения для трекинга пальца, которое бы работало на iOS, да еще и быстро, не оказалось. Даже хуже: не нашлось и открытого пригодного датасета с пальцами для обучения своей модели.

Как мы стали стартапом в области машинного обучения

Пока Егор рисовал дизайн приложения, которое, возможно, никогда не выйдет, а Лаки программировал приложение, которое, возможно, не получится сделать, я стал судорожно устанавливать все репозитории на GitHub, где в каком-либо виде встречались слова “finger” и “recognise”.

Одни распознавали руки целиком, другие были натренировано на жесты. Была парочка проектов, в которых распознавался палец, но только при условии статичного фона. А это не наш вариант.

Ранний прототип, где уже все работало. Но без пальца

Через месяц неудачных поисков opensource-решения я стал искать ML-специалиста, который нас спасёт. Новости были разные. Например, хорошая новость: оказывается, мой однокурсник Сережа Войтович занимается machine learning. Плохая новость: Сережа Войтович уже несколько месяцев работает в Apple. Хорошая новость: команда специалистов по ML из Твери готова нам помочь. Плохая новость: это будет стоить $6000.

Стало понятно, что алгоритм распознавания пальца нам придется делать самим. И если в обычной жизни, чтобы сделать фотографии, нужна модель, то в машинном обучении, чтобы сделать модель, нужны фотографии.

5000 пальцев и ключик наш

Чтобы модель получилась качественной (распознавала пальцы разных размеров, разных цветов, с маникюром и, например, в перчатках), нужно хотя бы несколько тысяч фотографий. Я стал постоянно фотографировать свой палец. Подключилась моя девушка. Родители и друзья. Так мы набрали около 1000 фотографий, но этого было мало. Нужно было решение, которое масштабируется.

Уже не помню, как я нашел «Яндекс.Толоку». Наверное, стал уже гуглить «быстрый заработок в интернете». Толока — это сервис, который позволяет кому угодно создать специальное задание, которое за деньги выполняют исполнители на «Толоке».

В нашем случае мы просили за десять центов прислать десять фотографий своего указательного пальца на разном фоне. Так за $50 мы получили 5000 фотографий пальцев. Мы были счастливы: оставалось всего лишь разметить наш датасет — указать алгоритму правильные координаты кончика пальца.

У меня в ИТМО был небольшой курс по машинному обучению (передаю привет и «спасибо» Ольге Большаковой), и мы даже писали алгоритм обратного распространения ошибки.

Но машинное обучение в естественной среде обитания оказалось намного суровее: многостраничные конфигурации слоев кастомных моделей в Tensorflow, сотни проектных зависимостей, которые конфликтуют друг с другом и, конечно же, обучение моделей по 36 часов. Возможно, первый раз в жизни мне было жалко свой ноутбук.

В какой-то момент нервы стали сдавать: чтобы потестить механику хоть как-то, мы обернули палец в зеленую изоленту и прикрутили распознавание зеленого цвета. Это работало

Прорыв

Слава Богу, когда не можешь воспользоваться правилом 10 тысяч часов, на помощь приходит правило десяти дней до дедлайна. Мы планировали, что потратим на прототип не больше двух месяцев. Не успеем — расходимся: аккаунт на «Толоке» я себе уже зарегистрировал.

Но правило сработало. Машинное обучение похоже на приготовление куличей: нужно оставить тесто на ночь, чтобы оно «поднялось». После такой ночи я вернулся в офис и стал смотреть, как натренировалась последняя версия модели. И наконец-то я увидел это:

У нас получилось сделать модель, которая работала быстро и точно

Я отправил Лаки эту модель, и через несколько у нас было первое полноценное демо:

Первое полноценное демо работы

Это было чудесно: увидеть вживую то, что ты представлял себе. Оказалось, что это действительно удобно! Впереди у нас было (великое будущее) множество вопросов и проблем, которые нам предстояло решить, но основную работу мы сделали: на слово можно показывать пальцем, оно распознается, выделяется и мы видим перевод.

Попап, шторка и пузыри. И снова попап

Если коротко, это и есть тот дизайн-путь, который мы прошли (спойлер: и вернулись к тому, с чего начали). В первом прототипе Егор изобразил первую ассоциацию со словарем: над нужным словом появляется попап с его значением. Вариант неплохой и понятный. Но мы решили хорошенько подумать и найти Свой Собственный Путь™.

Первая версия главного экрана

Логика была такая: активная зона, в которой пользователь показывает пальцем, находится над пальцем (спасибо, кэп). Значит верхнюю часть экрана нужно оставить под вьюпорт, а слово показывать поверх пальца. «Ведь палец все равно закрывает текст под собой, давайте там и покажем перевод…»

Версия со «шторкой»

Следуя этой железной логике, мы нарисовали концепцию. Все выглядело довольно стройно. Пока мы не начали это тестировать: оказалось, что низ экрана абсолютно не подходит для важной информации, и перевод слова хочется (да-да, именно хочется!) видеть над словом.

Версия с «баблом»

Мы стали искать новую идею, Егор вспомнил про игру Machinarium и выдумал БАБЛЫ! Несколько дней мы были в эйфории, и нам казалось, что БАБЛЫ наше будущее. Лаки уговаривал нас опомниться и объяснял, что для вытянутых слов круглые баблы — эмм — не подходят.

Мы опомнились. Баблы превратились в простой и элегантный попап. Круг замкнулся. Основные значения мы решили крупно показать на главном экране, а словарную статью спрятать внутри. Так появился Наш Идеальный Главный Экран.

Концепция, с которой мы обрели покой

Как можно использовать Graspp

Переводить пальцем

Показываешь пальцем на нужное слово физически прямо в книге, наводишь камеру — видишь перевод. С этим разобрались.

Переводить тапом

Альтернативная версия для одной руки: на слово можно нажать прямо внутри экрана, чтобы его перевести.

Переводить прицелом!

В последнем релизе вернули (Паша, обнял) наш тестовый режим «прицела». Работает так: зажимаешь иконку [-] прицела слева, целишься в слово — БАМ! — видишь перевод.

Переводить с клавиатуры

Наша главная инновация. Если хочется перевести то, чего нет в книге, можно сделать это с помощью клавиатуры! Лайфхак: в этом режиме уже можно переводить выражения. Так, например, “take off your dress” переведется как «сними свое платье».

Сохранять слова

В планах добавить нормальное изучение слов: карточки или викторины. Думаем. А пока слова можно сохранить в список, взять бумагу, нарезать карточки… вы поняли, что делать :) Еще последние 100 слов сохраняются в Истории.

Слушать произношения

Чтобы узнать, как произносится слово, можно его послушать. Для ценителей есть транскрипции.

One more thing

Еще одна маленькая, но удобная функция — возможность поискать в Google любое слово, если мы не знаем его перевод. Либо если знаем, но хочется чего-то большего. Спасает, когда ищешь имена собственные и редкие термины.

Глубже изучаем значение слова “hadal” в Graspp  

Планы (и мечты)

Graspp — уже полезная штука, но ее потенциал намного больше. Сейчас мы работаем над языками: в течение месяца планируем добавить несколько европейских языков.

Еще одна важная функция в работе — перевод фраз и предложений. Можно будет указать пальцем (или тапнуть, или прицелиться) на несколько слов подряд — и мы переведём их вместе.

Еще несколько убийственных функций, с которыми жизнь не будет прежней: фонарик для всех тех, кто читает в темноте. Зум, но не тот, о котором вы подумали. Ночной режим! Пишите в комментариях, чего хотелось бы вам (только не вообще, а в приложении).

Есть и глобальные планы: а что, если Graspp станет дефолтным жестом в стандартной камере? Такой Google Lens по-эпловски. (Дорогой Тим, читай между строк, пожалуйста). А что, если можно будет показать пальцем на кроссовки сына маминой подруги и купить такие же?

Едем дальше. В светлое будущее, где у каждого есть AR-очки. Тогда (дорогой Тим, не читай) не нужен и айфон: показал пальцем и уже знаешь перевод. Технология та же. А ведь мы сделали это еще в далёком 2020-ом!

Помощь зала

Мы только начинаем. Давайте действовать по формуле “Write code. Talk to users”. Пишите в комментариях, что мы сделали не так. И что, наоборот, понравилось. Без чего мы провалимся. А с чем заработаем на дом в Маунтин Вью.

Сразу отвечу на вопросы, которые нам задают чаще всего:

Будет ли Android-версия?

Начнем делать, когда на iOS будет 100 тысяч пользователей. Это случится скоро, так что мы ищем опытного Android-разработчика. Пишите нам на почту: [email protected].

Как вы планируете зарабатывать?

Скачать Graspp можно бесплатно. Позже мы планируем добавить подписку на Pro-функции: перевод фраз и подробные словарные статьи (пока это тоже бесплатно). Напишите, пожалуйста, сколько вы готовы платить за такую функциональность. И вообще, готовы ли.

Что значит Graspp?

Английский глагол “grasp” значит одновременно «хватать», «понимать» и «схватывать налёту». А две буквы «p» мы добавили, чтобы глагол превратился в название приложения (а еще чтобы нас проще было найти).

Когда вы добавите сербский/японский/эсперанто/(здесь может быть ваша реклама)?

Напишите, пожалуйста, нам на [email protected] с просьбой добавить конкретный язык. Мы следим за количеством желающих и таким образом приоритезируем языки. Пока лидируют немецкий и французский.

Классный проект. Как я могу помочь?

Ура, мы очень рады! Во-первых, скачайте приложение и попробуйте почитать что-нибудь с Graspp’ом. Если вы сами не читаете на английском, порекомендуйте приложение тому, кому оно может быть нужно. Бойфренд учит английский? Внук читает Винни Пуха в школе? Коллега любит смотреть сериалы на английском с субтитрами? Им Graspp очень пригодится. Посоветуйте им нас, пожалуйста: то, что раньше отвлекало и было лень, теперь стало гораздо проще.

Спасибо, что прочитали. Теперь вам слово.

0
177 комментариев
Написать комментарий...
Дмитрий Башкиров

Вы большие молодцы, что делаете уникальные и сложные продукты и приложение действительно интересное.
Но, вспоминая свои уроки немецкого в университете - цельный перевод по фото с помощью Google.Translate выглядел так себе, а для большинства людей, я думаю, расшифровку отдельно взятых слов по фото можно ввести и для родного языка, не то, что для английского :))

Надеюсь, вы доведёте приложение до хорошего уровня и дадите людям новую модель поведения и сможете на этом поднимать бабки :)

Ответить
Развернуть ветку
Arseny Kogan
Автор

Дмитрий, спасибо! Да, расшифровка родного языка тоже в планах :)) Планируем добавить поддержку Вики. Например, увидел в тексте название какого-нибудь города, показал пальцем, узнал, где город находится и почитал историю! 

Ответить
Развернуть ветку
Vladislav Proshinsky

Сейчас нейронка Гугл переводчика очень мощная. Переводчик год назад и сейчас - два разных переводчика. )

Ответить
Развернуть ветку
Вофк Гладун

Где-то пару лет назад на IO очередном гуглеры рассказывали о переносе их translate-а на новые нейронки, которые с тех пор обучаются и собирают данные. Переводчик постоянно совершенствуется и рост "охвата" не линеен. А качество перевода и понимание контекста (на что сейчас ставится все больший упор) - ключевое для электронного переводчика.
Сейчас Lens умеет на лету распознавать текст, после чего в тексте можно выбрать слово или абзац и перевести.

Ответить
Развернуть ветку
Мулюков Талип

Это потрясающе!!! Спасибо большое, буду ждать Андроид версию.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Талип, спасибо! Записал вас — напишу, когда будет первая Android-бета

Ответить
Развернуть ветку
Igor Akimov

Эм... Даже не буду ничего говорить про ABBYY Lingvo и TextGrabber. С переводом отдельных слов с видеопотока и AR (с помощью Vuforia и как раз на Андроид) с 2013 года. 

Ответить
Развернуть ветку
Arseny Kogan
Автор

Допустим, мы не знаем в тексте слово fortune.

Lingvo: открыть приложение, нажать на иконку «Фото», попасть рамочкой в нужное слово, сфотографировать, нажать на нужное слово, увидеть перевод. Четыре действия до результата. 

Text Grabber: открыть приложение, найти слово на странице в маленьком окошке, зажать кнопку, увидеть плохой перевод всего, что попало в это окошко. Два действия и нет результата. 
 
Graspp: открыть приложение, указать пальцем, увидеть перевод. Одно простейшее действие (показать пальцем) и понятный результат. 

Я не говорю, что мы придумали переводчики. Но я говорю, что мы сделали их намного удобнее :)) 

Ответить
Развернуть ветку
7 комментариев
Ilya Gelfenbeyn

Отличный продукт!

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо :))) 

Ответить
Развернуть ветку
Дмитрий Башкиров

Ещё, в России и СНГ очень мало людей, которые читают англоязычные книги в оригинале.
А те, кто это делают - по автомату вбивают незнакомое слово в Гугл.
И, вероятно, вам придётся постараться, чтобы переучить их.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
Arseny Kogan
Автор

Стоит кому-нибудь разочек попробовать «перевод пальцем» вместо «вбивания с помощью клавиатуры» — все! Они навсегда с нами :)) It's one way road! 

И, конечно, мы ориентируемся не только на СНГ: хотим захватить весь мир. Кстати, наши пользователи не только те, кто читают книги. Например, все кто любит смотреть кино с субтитрами. Или те, кто учит язык. А таких очень много! 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
18 комментариев
RK

Яндекс Переводчик намного удобнее. Фоткаешь страницу целиком, затем пальцем выбираешь нужное слово - получешь перевод с примерами, произношением и возможностью сохранить для интервального повторения. 
А тут приходится постоянно держать телефон над книгой, ждать пока он твой палец распознает, потом слово, потом переведет. И я все это время держу телефон! Ну нафиг, только лишняя трата времени и отвлечения.

Ответить
Развернуть ветку
Yury Nedomolkin

с яндекс переводчиком получается необходимо слово еще раз найти на фото.
с graspp Вы просто останавливаетесь на незнакомом слове и подводите телефон в районе страницы. одно действие вместо двух.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Бывает, палец распознается секунду-две. Но в 9 из 10 случаев это происходит моментально, не нужно ничего держать: показал пальцем, навел на полсекунды, подсмотрел перевод, отложил телефон. 

Посмотрите это видео. Тут видно, что это быстро работает
https://www.youtube.com/watch?v=AIvjV58FFq8

Ответить
Развернуть ветку
Yury Nedomolkin

самое инновационное в пользовательских интерфейсах, что встречалось за последнее время. респект!

Ответить
Развернуть ветку
Arseny Kogan
Автор

Юрий, спасибо! Это очень приятно слышать! 

Ответить
Развернуть ветку
Daniil Shvedov

Ребята, супер! Это отличное приложение, вы молодцы! Скачал сразу же, после первого видео. Я думаю это приложение как и любое другое найдет своего пользователя. Кому то покажется полезным, кто-то будет топить что такое уже есть. Так было всегда, пусть это не будет помехой. Мне очень нравится как все удобно сделано. Когда я учил английский, ходил на курсы, то именно такой программы мне и не хватало. Ведь учеба как раз проходит по учебника, книгам, по распечаткам статей. В общем весь учебный материал печатается. С другой стороны, даже если наводить на страницу веб браузера, а многие скажут есть же плагины, но если ты пользуешься одни аппом ты формируешь базу слов для запоминания в одном месте. Очень удачно сделан прицел, мне кажется что с ним удобнее чем с пальцем. Но палец это как раз таки фича) О которой можно "говорить" и с помощью которой можно "привлекать". Было бы классно сделать перевод словосочетаний или предложений. Можно сделать по типу линейки в айфоне, когда зафиксировал одну точку (или подержал палец на одном слове) а потом провел до окончания фразы. В общем буду следить за развитием данного приложения)

Ответить
Развернуть ветку
Arseny Kogan
Автор

Даниил, большое спасибо :)))

Да, образование по-прежнему часто завязано на печатный текст! Слышал это от десятков преподавателей и репетиторов.

Перевод словосочетаний делаем! 

Ответить
Развернуть ветку
Daniil Shvedov

Прочитал пару комментариев про прицел, тоже такая идея возникла, как бы можно его было доработать. Скажем сделать не в центре экрана, а чтобы была возможность водить пальцем по экрану. Понятное дело что можно и подвинуть сам телефон, но такие удобства и есть фишка) Как раз так прицел будет происходить быстрее, когда наводишь камеру на фрагмент текста и пальцем на экране одновременно наводишь на слово.

Ответить
Развернуть ветку
4 комментария
Ivan Boldyrev

Без Android-версии несчитово :) 

Ответить
Развернуть ветку
Alex Naumov

Только пару недель назад сел читать книгу по финансам на английском. Каждый раз плевался от того, что каждое незнакомое слово - бери телефон, вводи Пароль, заходи в translate, вводи слово и только потом получай перевод. Все время хотелось сделать как на макбуке: долгое нажатие мышкой на слово выдаёт поп-ап с переводом.

Приложение, которое вы сделали, прям как чтение мыслей. Хотелось бы подчеркнуть, что мне видится большой перспективой акцент именно на профессиональном переводе(бизнес, финансы, наука и тд). Людей, которые изучают язык посредством чтения книг и хотят перевести обычное слово, возможно, и не так много - процент от рынка литературы на ин. язе. А вот начинающих профессионалов, которые садятся за очередную статью, но не знают отдельных аббревиатур или терминов на английском, мне кажется очень много.

Предположение основываю на ощущениях.

Ответить
Развернуть ветку
Иван Иванов

У профессионалов другая методика. Они незнакомые слова просматривают в толковых словарях, потом к прочитанному смыслу подбирают слово исходя из своей интуиции, то есть опыта. Например, при переводе с арабского на русский или с русского на арабский трудно передавать смысл, потому что исторически эти языки имеют мало общего. Европейские языки и русский проблем не вызывают.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Класс, это приятно слышать! 

Вы про ситуацию, когда читаешь, например, текст по финансам на родном языке и не знаешь какое-нибудь заковыристое слово? Да, это было бы удобно. Собираемся это делать! 

Ответить
Развернуть ветку
Anton Ryabyh

Крутой проект, молодцы!

Ответить
Развернуть ветку
Andrey M

Сделайте чтобы пальцем можно было провести и сразу выделилось несколько слов.
И переводило не одно слово,  а сколько выделил. 

И вам нужно добавить больше жестов пальцем.  И на этом делать акцент.
Например провел вертикально - выделились целые строки, а горизонтально  слова.

По диагонали выделение от начальной до конечной точки.   
И это должно все визуализировать в дополненной реальности.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Андрей, как раз двигаемся в эту сторону! В течение месяца планируем выпустить выделение фраз

Ответить
Развернуть ветку
Sergei Soloviev

Круто. Но получается, что если Google в Translate сделает опцию перевода не всего текста, а части, то ваше приложение можно будет закрывать? Или есть куда еще расти в таком случае?

Ответить
Развернуть ветку
Arseny Kogan
Автор

Это хороший вопрос! Наша основная «фишка» — это перевод пальцем, конечно же. Она не всем нужна, но если нужна — нужна ощутимо. Разница огромная. Если Гугл добавит себе «палец», нам будет сложнее продвигать Graspp. Но наша основаная сила в другом: наш интерфейс сделан под конкретную (довольно узкую) задачу — переводить оффлайн текст. А Google Translate — решение универсальное. Поэтому нам проще «подойти» тем, кому нужно переводить именно печатный текст. 

Приведу пример: мы на выставке. Увидели незнакомое слово в аннотации к картине. 
Google Translate: нужно открыть приложение, перейти в режим перевода с камеры, сделать фото, выделить нужно слово на экране, увидеть перевод
Graspp: открыть приложение, тапнуть на нужное слово, увидеть перевод

В нашем случае это проще, меньше действий. И это не потому, что мы сделали лучше, чем инженеры Гугла, а потому что мы изначально решали именно эту задачу :)) 

Ответить
Развернуть ветку
Роман Шар

а там же есть такое. ведешь пальцем и выделяешь текст. Только качество перевода так себе

Ответить
Развернуть ветку
1 комментарий
Daniel Kovekh

Фигня какая-то. Мне легче написать на клавиатуре, чем открывать в приложении фото, подносить палец и ждать расшифровки.

Да и Яндекс, Гугл переводчик переводит сразу весь текст

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Arseny Kogan
Автор

Даниил, вы, наверное, не читали статью... Наша цель была как раз переводить не весь текст, как это делают многие переводчики, а построить механику вокруг отдельных слов

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо :)) Сейчас используем Оксфордский и Яндекс.Словарь (не переводчик)

Ответить
Развернуть ветку
6 комментариев
Almisakov Timur

Выражаю большой респект! Полный вперёд! Удачи!

Ответить
Развернуть ветку
Arseny Kogan
Автор

Большое спасибо :)))

Ответить
Развернуть ветку
3 комментария
тима махотлов

Норм задумка молодцы. Хочу добавить пару мыслей своих.
Первое - на мой взгляд палец должен быть как доп функция, упор надо делать на перевод всего что попало на экран.
Второе - книги тоже хорошо, но надо идти к тому чтобы переводилось с любого носителя.
Пальцем и книгами вы себя загоняете в очень узкие рамки. Людей кто может читать и с лету переводить с иностранного языка очень мало, а вот людей которые могут читать, но не могут переводить очень много. А тех кто не умеет ни того не другого - еще больше.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо! 
1. У нас три равных режима: палец, тап и прицел — кому, что удобно
2. В целом так и есть: можно переводить любой текст, которые может «увидеть» камера. Субтитры, меню в ресторане (если когда-нибудь еще будем в ресторане в другой стране...), журналы, надписи на упаковках продуктов — все это к нам
3. Узкие рамки, возможно, это плюс. Сложно бороться с переводчиками от Google или Яндекса на поле «универсальных» переводчиков. Мы должны чем-то отличаться, подходит не всем, но тем кому подходим — подходить действительно хорошо

Ответить
Развернуть ветку
Miau DD

Часто читаю книги в оригинале, и с удовольствием опробую ваше приложение! Спасибо вам и вашей команде за него, за 10 минут использования оценила удобство и что не нужно делать лишних действий!
Очень жду функцию перевода фраз, это еще больше выделит вас среди подобных приложений. 

И не меньше жду версию Android =) 

Ответить
Развернуть ветку
Arseny Kogan
Автор

Большое спасибо! Перевод фраз делаем 👨🏾‍💻

Ответить
Развернуть ветку
marching soap giant

Скачал, попользовался. Браво! Буду ждать французский и немецкий! ;-)

Ответить
Развернуть ветку
Arseny Kogan
Автор

Ура! Немецкий и французский делаем 💪🏻

Ответить
Развернуть ветку
Xieergai

Такое уже давно есть и встроено в камеру Google Pixel.
Там ещё есть распознавание объектов разных и их поиск в гугле.
Идея лежит на поверхности и поэтому она уже давно реализована

https://www.youtube.com/results?search_query=google+pixel+camera+text+translate

Первое же видео из поиска:
Google Translate App Works Like Magic
416 тыс. просмотров
5 лет назад

Пять. Лет. Назад. Пять!

Ответить
Развернуть ветку
TETA ETA

Ну тут у человека речь про удобство. При чтении книги (текста). Гугловский если навести - он всё подряд начнет показывать без разбора :) А увеличить на ОДНО слово в книге у вас с вероятностью до 99% не получится.
Если у них тут будет показывать еще кроме перевода разные значения слова (в комментах он вроде как пишет про это, что будут добавлять), то будет смысл в нем.

Ответить
Развернуть ветку
2 комментария
Arseny Kogan
Автор

Мне как пользователю хочется
1. Читая текст, узнать значение конкретного слова, которое я не знаю. Не всего текста
2. Посмотреть словарную статью, почитать разные значения
3. Слово сохранить в список

Google Lens классная программа, я сам ее привожу в пример в статье. Но она не подходит ни для одного из этих пунктов.

И маленькое демо :) Хочу узнать что значит "slaughtered". Специально не сдвигал камеру, скриншоты из одной точки. Как понять значение слова из этих двух скриншотов?

Ответить
Развернуть ветку
Чех в чешках

Увидел анонс вашего приложения у Ильи Бирмана, когда оно называлось еще Booktopus. Очень нравится!

Ответить
Развернуть ветку
Arseny Kogan
Автор

Да, решили поменять название, чтобы совсем уж не привязываться с книгам ;)

Ответить
Развернуть ветку
Nice Man

Пушкааа))

Ответить
Развернуть ветку
Arseny Kogan
Автор

😃

Ответить
Развернуть ветку
Гриша Булыжников

думаю эта штука отлично бы смотрелась в каких-нибудь гугл очках или умных линзах. а пока надо держать книгу в одной руке, а телефон в другой, еще и показывать что-то, то все равно не удобно. но вообще респект, молодцы.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Гриша, спасибо) Для случаев, когда только одна рука свободна, у нас есть еще три способа перевести слово: прицел, тап на экране, клавиатура

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Arseny Kogan
Автор

Сергей, спасибо! Основной функционал планируем оставить бесплатным

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Vladislav Proshinsky

Как же это круто!!!!!!! Спасибо!!!

Ответить
Развернуть ветку
Nurislam Ashirmatov

Круто приложение, моя девушка оценила (у нее iOS). Продолжайте в том же духе!)

Ответить
Развернуть ветку
Arseny Kogan
Автор

Большое спасибо! 

Ответить
Развернуть ветку
Darya

Аж дух захватывает! Такие энтузиасты и молодцы!

Ответить
Развернуть ветку
Aleksandra Ilenko-Bykova

Ребята, миллион благодарностей за идею и реализацию! Это приложение - как раз то, что нужно для чтения литературы на английском в оригинале и прокачки языка. Перевод целой страницы не способствует запоминанию слов и работе мозга, так что я однозначно за вас. Желаю успехов!

Ответить
Развернуть ветку
Arseny Kogan
Автор

☺️

Ответить
Развернуть ветку
Dar'ya Rodionova

Ребята, это огонь! 😱🔥
Работает отлично 👌 Удачи вам! 

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо :)) 

Ответить
Развернуть ветку
Виталий М

Спасибо! Очень интересно было читать, особенно про первую 1000 фоток пальцев и однокурсников с ML )

Ответить
Развернуть ветку
Arseny Kogan
Автор

😃

Ответить
Развернуть ветку
Сергей Чирков

Чистый восторг! Отлично написано и главное сделали стоящую вещь! Спасибо!

Ответить
Развернуть ветку
Alexander Kalinnikov

Все гениальное - просто. Не с точки зрения реализации, а с точки зрения пользователя - дизайн, UX. Установил себе это приложение и им точно в каких-то ситуациях буду пользоваться. Остается один вопрос, почему все таки раньше никто не догадался?) Тут писали о похожих идеях, но они другие все равно.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Да! Я был ОЧЕНЬ удивлен, когда не нашел кого-то, кто уже реализовал такую идею! 

Ответить
Развернуть ветку
Yury Y

строить продукт вокруг одной фишечки в дизайне путь тупиковый. ну и батарею наверно это высаживает сильно. + в гугл транслейт уже лет 5 как можно сфотографировать и закрасить фрагмент который вы хотите перевести. Кстати а как вы будете переводить устойчивые словосочетания и части предложений?) короче мой вас совет: патентуйте и пытайтесь толкнуть какой компании крупной

Ответить
Развернуть ветку
Arseny Kogan
Автор

На самом деле мы строим продукт на понимании, что люди, которые читают тексты на иностранном языке, хотят узнать перевод какого-то конкретного слова, а не всего текста. Акцент на палец — это уже маркетинговый прием: пользоваться прицелом или тапом так же удобно! 

Для выражений и фраз мы придумали тоже интересную механику :)) Сейчас делаем! 

Спасибо за совет! Патентуем, готовы обсудить предложения больших крупных компаний в порядке очереди 😃

Ответить
Развернуть ветку
Yerzhan Assanov

@Arseny, "Такое уже есть" как год, но у вас намного лучше :)  тоже хотели такое сделать, но опередили... Удачи!

Ответить
Развернуть ветку
Ivan Brazhnikov

Я правильно понял, что для того, чтобы получить перевод слова, потребуется две руки, а не одна, если бы указатель просто был зафиксирован, скажем, по центру экрана?

Ответить
Развернуть ветку
Arseny Kogan
Автор

У нас есть три способа перевести слово
1. Показать пальцем, чтобы перевести — в этом случае нужно две руки
2. Тапнуть по слову внутри экрана — удобно одной рукой
3. Прицелиться в слово «указателем» — то, о чем вы говорите. Тоже удобно одной рукой
Еще есть возможность ввести слово с клавиатуры, но это понятно) 

Ответить
Развернуть ветку
Ivan Brazhnikov

Как фичу для продвижения я понимаю, но абсолютно не как для повседневного использования. Я бы в первую очередь юзал виртуальный указатель, который, может быть, можно было бы двигать жестами в нижней части экрана как тачпадом, чтобы добиться того же эффекта, что и при указании пальцем, но только одной рукой.

(УПС, пока я писал, вы уже ответили)

Ответить
Развернуть ветку
3 комментария
Влад. Бугаев (pptxman)

Это очень здорово! Сегодня же вечером протестирую.
На Product Hunt будете выкладывать?

Ответить
Развернуть ветку
Arseny Kogan
Автор

Ура, спасибо :) Будем, но когда добавим языки

Ответить
Развернуть ветку
Andrey Krestovnikov

Интересный проект!
Можете оценить затраты на реализацию?

Ответить
Развернуть ветку
Arseny Kogan
Автор

Нам понадобилось пять месяцев: два месяца до прототипа (могли бы быстрее, если имели экспертизу в ML), три месяца до продукта. Команда: дизайнер, iOS-разработчик, бэкенд-разработчик. Отсюда можно прикинуть стоимость

Ответить
Развернуть ветку
5 комментариев
Кирилл Якунин

Респект за приложение! Пока не имею возможности протестировать, но по видосам выглядит круто.

Рискну поставить на то, что этот способ будет самым популярным
3. Прицелиться в слово «указателем»

Успехов!

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо за поддержку! В нашей команде я фанат «пальца», но для субтитров, например, прицел намного удобнее! Пока статистика такая: палец — 60 процентов, тап — 20, вручную — 10. По прицелу еще нет данных, только добавили. Будем смотреть)

Ответить
Развернуть ветку
Andrey M
Ответить
Развернуть ветку
тима махотлов

Тут пальца нет чувак))

Ответить
Развернуть ветку
1 комментарий
Dmitry Filippov

Отличная штука! Где за вами можно последить, чтобы не прозевать версию на android?
Спасибо!

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо! Записал вас. Напишу, как будет android-версия! 

Ответить
Развернуть ветку
Vladislav Baimurzin

А Сколько у вас сейчас пользователей?
И какое ретеншн 7,30 дня ?
Интересно как пользователи оценивают удобство и ценность приложения 

Ответить
Развернуть ветку
Arseny Kogan
Автор

По пользователям приближаемся к 10К, это за месяц. На днях Apple нас зафичерили на главной, так что будем расти еще быстрее :))

Ретеншн по неделям сейчас 24.5% — 18.6% — 16.8% — 11.0%. Не самый высокий, но это объясняется тем, что многие устанавливаются Graspp, чтобы просто посмотреть на новую штуку

Ответить
Развернуть ветку
Алексей Петрович

Мне очень-очень понравилась манера и то, как вы пишите! К сожалению, статья про Graspp на порядок лучше чем сам Graspp, извините пожалуйста. Но, может, это я такой. Успехов вам!

Ответить
Развернуть ветку
Arseny Kogan
Автор

😂Если с Graspp не получится, стану журналистом! 

Ответить
Развернуть ветку
Nikita Rogatov

Ох я скуптически отношусь к таким вещам. Но! поставил, работает. Половина слов (как я понял которые не знает) не распознает и это бесит. Пытаешься указать слово и не понимаешь это руки кривые или слово не знает. Было бы круто добавить индикацию что такого слова нет в словарях

Ответить
Развернуть ветку
Arseny Kogan
Автор

Никита, добрый день! Пришлите пожалуйста фотографию текста, с которым плохо работает, будем разбираться

А индикацию, делаем, да)

Ответить
Развернуть ветку
3 комментария
Maxim Medvedev

Добавьте функционал карточек! Например, изучаешь какую-нибудь книгу с курса английского - приходится самому все слова вбивать в карточки.. а у вас уже распознавание есть..

Ответить
Развернуть ветку
Arseny Kogan
Автор

Карточки в планах обязательно. Кстати для них у нас есть тоже прикольная необычная идея))) 

Ответить
Развернуть ветку
Alexander Lunin

Круто! Осталось совсем чуть-чуть модернизировать, чтобы на движение глаз программа ориентировалась, а не на палец.😁

Ответить
Развернуть ветку
Alexander Nevedovsky

Вся команда работает бесплатно (за долю, может быть), или же у вас есть некоторый бюджет/инвестиции? Классный продукт, классно подана история, но немного не хватило этой части для честного представления. В том числе с точки зрения будущего и роста.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Все команда заперта в офисе и работает за еду, бесплатно

На самом деле у нас есть инвестиции, да :)) 

Ответить
Развернуть ветку
Kirill Kirill

Парни,  офигенно сделали, работает классно и удобно

Ответить
Развернуть ветку
Arseny Kogan
Автор

Кирилл, спасибо! 

Ответить
Развернуть ветку
Арман Джагарян

В планах начать читать на английском языке. Новость чертовски порадовала, отличная работа парни! Могу помочь с разработкой рекламной компании вашего уникального продукта!

Ответить
Развернуть ветку
Arseny Kogan
Автор

Арман, спасибо! Напишите, пожалуйста, нам на [email protected] — обсудим :))

Ответить
Развернуть ветку
Vitaliy Bochkarev

Идея интересная. Хотя, если честно, не помню когда я в последний раз читал книгу в физическом формате. Последние лет 7 - точно все в Litres \ CoolReader читаю, перевод по тапу настроить не проблема же нынче

Ответить
Развернуть ветку
Arseny Kogan
Автор

Да, внутри экрана проблема решена, это правда) Но интересно, что в школах и университетах по-прежнему учатся по бумажным учебникам и распечаткам. А вот им приходилось вводить с клавиатуры... 

Ответить
Развернуть ветку
Andrey M

Палец новая фича ни у кого ее нет.

Ответить
Развернуть ветку
Nizhat Makmudov

Функция copy/paste пригодилась бы. 

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо, сделаем

Ответить
Развернуть ветку
Петр Петров

А можно у вас переводить тапом в браузере? Если я читаю статью на английском и встретил новое слово.
И ещё вопрос, если я читаю на английском в стороннем приложении, там я смогу перевести тапом слово?
По поводу продукта с пальцем, на мой взгляд, это очень «узкая» история. Скорее для специальной литературы.
Если говорить о рядовом пользователе, то возникает неудобство. Например, я еду в метро достаю физическую книгу и читаю ее, далее мне попадает незнакомое слово. Одной рукой я держу книгу, второй смартфон, и локтем пихаю в бок соседа и ору ему, чтобы он поставил палец...
Получается, ваш продукт для библиотек/институтов или лабораторий, домашнего чтения или места, где можно положить книгу на стол. Это прямо очень узкая аудитория. Но тоже не понятно, что быстрее. История с пальцем и приложением или забить слово в переводчик в гугле.

Ответить
Развернуть ветку
Arseny Kogan
Автор

Да, можно распознавать любой текст, который «видит» камера! 

В стороннем приложении — мы так не умеем, но в на айфоне везде работает функция look up. Думаю, на андроиде тоже решена эта проблема

Для случая в метро мы сделали еще два способа переводить: целясь прицелом и тапая по экрану — это удобно делать одной рукой :))

Ответить
Развернуть ветку
Gor Sam

Гениальная идея! Очень удобная для обучающихся языку. Когда владеешь основами грамматики, но словарный запас ещё скудный. Где вы были 15 20 лет назад, когда я учился на инязе?! Приложение сэкономило бы кучу времени для домашки. Завидую нынешним студентам.
Эту технологию можно использовать не только с иностранными языками, но и русским. Для детей которые только начинают знакомство книгами, но встречают неизвестные слова, значение которых еще не понятны, таким образом расширяют кругозор. В дальнейшем можно разработать плагин для читалок с экрана. Да, же есть такие, но не одним тапом.
Жду приложение на андроиде и другие языки. Особенно арабский. Уверен у вас много идей для совершенствования и областей применения.
Удачи вам и IPO ;-)

Ответить
Развернуть ветку
Arseny Kogan
Автор

Спасибо! Это радостно слышать! Тоже учил четыре языка, смотреть слова в бумажном словаре всегда занимало много времени) 

Технология универсальная, да. Планируем и Вики, и толковый словарь и другие языки. С автоматическим произношением еще интересная идея! 

Спасибо за поддержку! Напишу вам когда будет Android-версия. 

Ответить
Развернуть ветку
Alexander Sorokoumoff

Увы - не работает на ios 12. И возникает вопрос, почему нельзя подключить Гугл переводчик чтобы все языки сразу были в доступе ( и может лучше продать сервис гуглу пока они не сделали свой?)

Ответить
Развернуть ветку
Arseny Kogan
Автор

Александр, по поводу версии iOS: когда эпл выпускает новую систему, они меняют не только интерфейс самого устройства, но и обновляют инструменты для разработчиков. У нас в приложении используется несколько вещей, которые есть только с iOS 13. Поэтому так. Извините! 

«Подключить Гугл» так просто не получится, потому что у нас, например, есть подробная словарная статья. Но языками мы занимаемся. Скоро добавим новые! 

Ответить
Развернуть ветку
Максим Спевак

у меня айфон 6 приложение не скачалось. Потребовало 13 версию

Ответить
Развернуть ветку
Arseny Kogan
Автор

Максим, да, это связано с тем, что мы используем технологии, которые доступны разработчикам только с iOS 13. Приносим свои извинения. 

Ответить
Развернуть ветку
Elena Kiseleva

на iOS 12.4 не работает :( 

Ответить
Развернуть ветку
Arseny Kogan
Автор

Елена, очень жалко, что вы не можете скачать Graspp! На iOS 12 не работает, потому что мы используем технологии, которые доступны разработчикам только с iOS 13...

Ответить
Развернуть ветку
Silvers Rey

Идея с пальцем очень крутая) увидеть что-то в AR уже стало чем-то обывательским, а взаимодействовать настолько напрямую, new user experience)  тапнуть по экрану или навести физически реальным пальцем, на что телефон отреагирует и выдаст какой-то нефизический, а вполне электронный ответ, очень даже приятно удивляет как идея) ещё один шаг в сторону  мира, в котором электроника, интернет, пользовательские интерфейсы будут жить по сути в одной плоскости) 

Жду android-версию 
*на всякий убежал проверять нет ли её ещё*

Ответить
Развернуть ветку
Nataliya Pavlovskaya

Вау. Вау. Вау. Это просто потрясающе!!!! 😍 О, как же я буду ждать теперь андроид-версию! 😊 👍 И бегать кругами по потолку 😄

Ответить
Развернуть ветку
Аня Попова

Просто потрясающе! Понятия не имею, как попала на статью, но вы — моё спасение. И правда, каждый раз в переводчик лезть за одним словом сбивает охоту брать книгу в общем. Читаете мысли! А если ещё и карточки качественные появятся, цены вам не будет! Побежала скачивать, и ссылочку отправлю маме, папе, друзьям, соседям, знакомым и на любой номер, что найду. Спасибо! 

Ответить
Развернуть ветку
Arseny Kogan
Автор

Аня, большое спасибо! Нам очень приятно это слышать <3

Ответить
Развернуть ветку
Станислав Яровой

Как успехи?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Олег Ивахнов

Вообще думаю в скором времени должны появиться синхронные переводчики как в фантастических фильмах. Когда надеваешь наушники и начинаешь понимать что то бормочет этот инопланетный чувак.
Прибор распознает речь, моментально переводит его на твой язык и транслирует в уши.

Ответить
Развернуть ветку
Vlad Korobov

Кажется что можно сделать первые 100 слов бесплатно а дальше необходимо купить

Ответить
Развернуть ветку
174 комментария
Раскрывать всегда