Борьба с читерами и прописи для сотрудников: как «Тинькофф» запустил «Умную камеру»
Которой ежемесячно пользуется более 7 миллионов человек.
За последние пару лет в приложении Тинькофф появился сканер QR-кодов, реквизитов квитанций и номеров телефона — как печатных, так и написанных от руки. В процессе добавления новых фич нам пришлось разбить функции камеры на две кнопки, что сильно запутало пользователей. Чтобы решить проблему, мы придумали себе челлендж — создать мультирежимную Умную камеру, который нет ни у кого на российском банковском рынке.
Теперь по одной кнопке у нас запускается решение, которое умеет распознавать самые разные объекты — от финансовой информации до живых существ, делая путь клиента проще и интереснее. И это не предел! Рассказываем подробнее, как мы к этому пришли.
А давайте сделаем…
Все продуктовые идеи в Тинькофф начинаются с того, чтобы как-то упростить жизнь пользователя — научить приложение делать работу за него. Сначала мы добавили в приложение возможность оплачивать налоги, штрафы и коммунальные платежи по QR-коду. Решение работало и сейчас работает на базе технологии от Smart Engines. Но столкнулись с проблемой, что в некоторых квитанциях по квартплате QR-кода нет. В таких случаях клиенту нужно вбивать все данные вручную.
Пообщавшись с коллегами из команд платежей и переводов, узнали, что такая проблема у многих. Так у нас появилась идея добавить функцию, которая позволит пользователям мгновенно по фото распознавать нужные поля и автоматически переносить банковские реквизиты в приложение для оплаты.
Чтобы научить приложение «понимать» смысл напечатанных символов, к проекту присоединились ребята из Центра технологий искусственного интеллекта Тинькофф, в котором сейчас работают около 700 человек. Так что камера — совместное детище двух отделов.
После обучения протестировали камеру и добавили в приложение. Всё заработало. На этом можно было бы остановиться.
В 2021 году мы провели исследование и узнали, что 30% переводов происходят по контактной книжке. Вспомнили истории из жизни, когда ты что-то покупаешь на улице или на рынке и вводишь вручную написанный номер телефона.
QR-коды тогда были не у всех — после пандемии с самоизоляцией у некоторых они вовсе вызывали аллергию. Так возникла мысль сделать камеру, которая будет распознавать номер телефона для перевода.
Собрали цифры
Здесь задачка для обучения ИИ уже была посложнее, поэтому данных тоже нужно было больше. В помощь мы подключили фрилансеров-разметчиков (асессоров) — дали им задание фотографировать разные номера для перевода там, где они обычно встречаются: в маршрутках, на рынках, в общепите и так далее.
Некоторые ребята сталкивались с проблемами: были люди, которые агрессивно реагировали на попытку сделать фото их номера телефона.
За изображения с номерами телефонов мы давали асессорам достойную оплату, поэтому некоторые хитрили. Всё это мы раскрыли на этапе валидации: чтобы избежать дубликатов, сразу размечали номера и проверяли, сколько раз они уже встречаются в датасете. Если номер попадался часто, человека банили.
Третий шаг — разметка. Нужно было посимвольно выделить каждую цифру. Нам удалось собрать много номеров, которых было достаточно, чтобы искусственный интеллект научился находить тексты на картинках. Но для качественного чтения текстов, написанных различными рукописными почерками, нужно было еще больше данных. Поэтому мы создали синтетический датасет. Для этого придумали специальные прописи и пошли просить коллег по офису заполнять цифрами от руки. На основе этих почерков и печатных вариантов сгенерировали данные, которые использовали для обучения модели.
3-в-1
К началу 2023 года мы пришли с тремя функциями в камере: сканирование QR-кодов (на основе технологии от Smart Engines), а также распознавание реквизитов и номеров телефона — наше собственное технологическое творение. И для этих задач в приложении Тинькофф были две кнопки. Но люди их постоянно путали и нажимали не туда — например, камерой для сканирования номеров телефонов пытались сканировать QR-коды и наоборот. Чтобы избавить пользователей от страданий, мы решили сделать универсальную Умную камеру, объединив все функции в одну кнопку.
Челленджей в процессе образовалось тоже три:
- Научить мультирежимную камеру работать не хуже по качеству и скорости, чем прошлые монопродукты. Это было важно, чтобы не уронить конверсию в платежи. Здесь мы провели А/В-тест, где Умная камера показала себя хорошо. После теста выкатили ее в прод на всех пользователей.
- Перейти от распознавания по фотографии к распознаванию по видеопотоку и наведению на объект. Важным обновлением стало добавление зума и фокусировки.
- Придумать новые способы применения камеры. Например, продукт в текущем виде умеет открывать любые, даже неплатежные ссылки. А ещё мы научили Умную камеру быстро распознавать сложные объекты и использовали эту возможность в благотворительных целях.
Что в итоге
Создав мультирежимную Умную камеру, мы нашли прикладное применение технологии компьютерного зрения, которое приносит клиенту реальную пользу — сокращает время на переводы и платежи, уменьшает количество ошибок и упрощает пользовательский опыт. В марте 2023 года MAU (количество пользователей, которые хотя бы раз в месяц воспользовались продуктом) всех камер было 3,5 миллиона пользователей, а в марте 2024 года — уже 7 миллионов. Количество пользователей продукта растет каждый месяц с момента запуска. Также Умная камера подняла конверсию в платеж при сравнении со старой камерой.
Сейчас мы продолжаем совершенствовать функционал камеры, чтобы она стала еще умнее, а пользователи могли по-другому взглянуть на привычные вещи.
С одной стороны, анализируем опыт пользователей и ищем точки роста, чтобы ещё какие-то рутины отдать приложению. С другой — думаем, каким будет мир будущего с камерой, которая умеет все. Например, чтобы через камеру человек мог посмотреть на свои деньги в живом наличном эквиваленте, как если бы снял их в банкомате. Возможно, и такой челлендж мы поставим перед собой в будущем.
А какие функции камеры добавили бы вы?
А когда вы научите свою камеру распознавать мои почерки после пары коктейлей?
☺
По факту эта камера даже не 50на50 распознает а 20или 30 счета или платежи в том случае если в них нет куаркода. А если есть куар то нафиг эта ваша камера нужна
Не знаю, я постоянно в магазинах перевожу деньги по номеру телефона с таблички с помощью их камеры и все у меня работает
Вот все в тинькофф примерно так и работает. Зато статью написали хвалебную
У меня стата получше.Например по номеру телефона соглашусь - все номера какие от руки считывал, все правильно вписываллсь,оставалось проверить имя,ввести сумму и все ок. Реквизиты тоже норм, но когда куар есть как то привычнее конечно, но не все компании куар печатают
Здравствуйте. Мы активно работаем над улучшением сервиса, обычно камера оперативно распознает информацию. Напишите, пожалуйста, нам в личку ваши ФИО с датой рождения. Проверим ситуацию более детально.
Могу сказать на практике, что банковские реквизиты распознает быстро, я даже их не проверяю за Тинькофф при оплате жкх
Научите распознавать камеру почерк врачей.
поддерживаю)
И делать заказ в аптеке с лучшими ценами по рецепту или рекомендациям.
Думаю что этого никогда не произойдет 😁
перевод денег по face id
Имеете в виду FaceID как способ подтверждения? Сейчас для выполнения переводов мы можем ничего не запросить, а можем код или как раз FaceID. Система безопасности определяет автоматически способ подтверждения.
да, имел ввиду FaceID, но не для подтверждения, а для идентификации получателя - навёл камеру телефона на лицо получателя и перевёл ему деньги
Хм..Передали идею! Спасибо 😊
Херовая, две сестры двойняшки (не близняшки!) - срабатывание 99%% id и ДР. Отличия есть, но программа думает "плохо выспалась". С гримом профи тоже можно будет скатывать чужие деньги.
Должны же быть привилегии у близнецов 🤷🏼♂️
У всех банков это есть, но только они самые из самых. Ага , ага
У каких у всех интересно? Куар да, все умеют читать, остальные данные вроде только пара банков.
Красавцы
Так смешно, честное слово. Когда умный банк то они изобретут? Этот явно не умный
Да никогда. Будут продолжать делать вид, что занимаются чем то важным. Ну-ну
Насчет новых функций, я бы предложил добавить распознавание эмоций. Представьте, вы сканируете своего друга и видите, что он сегодня "радостный"
Приветствуем! Спасибо за идею. Интересное предложение, взяли его на заметку 🙂
А вы не боитесь, что ваша умная камера станет слишком умной и поднимет бунт против человечества?
Неееет 😀
Лучше бы вы научились скорость на безлимитном интернете не резать и людям не брехать.
Не ограничиваем скорость и сообщаем только проверенную информацию. Если у вас медленно работает интернет, отправьте ссылку на комментарий, подробности, ФИО и номер телефона на [email protected] для проверки.
Видел сегодня в городе черный катафалк с эмблемой этого попрошайки
По тексту добавить не чего, так как не пользуюсь данным сервисом и банком, а вот фото для обложки сразу напомнило старый добрый мем ))
A кто такие "читера" и зачем с ними бороться?
Здравствуйте. Читеры - это люди, которые нарушают правила, совершают мошеннические операции.
Нет, это не "читеры!" Это мошенники. А "читеры?" Мне почему-то казалось, что это слова "читать," нет?
У меня похоже какие-то особенные квитанции: их Тинькоф не распознаёт. (Вариант с приписками качества работы не рассматриваем же?) Приходится через конкурентов платить или ручками вводить.
Здравствуйте. Пришлите пример такой квитанции, а также ваши ФИО и дату рождения нам в ЛС. Проверим.
У вас есть весь датасет (результат неудачи распознавания формируются на вашей стороне). Ваши сотрудники простот не хотят его изучать. Пните их.
🤦♂️ ребята, ваш сканер в приложении под iOS и масштабе Крупный текст ОТСУТСТВУЕТ и вы полгода не можете починить эту известную багу ….
Зато статью написали
Простите, что столкнулись с такой проблемой. Расскажите, пожалуйста, детали нам в личку. Мы разберемся и постараемся помочь.
Все зарегистрировано через ваш же премиум. Или сюда то же надо ? 😎
Напишите и здесь, чтобы мы могли проверить детали и попробовать ускорить решение.
Первое обращения 26 января, второе 27 марта. Так и не исправлено
Пришлите ФИО и дату рождения в личные сообщения, чтобы мы проверили историю обращений и постарались помочь с вопросом.
А камера не может распознать самочувствие, например боту сказать мне хорошо, сделать фото. Когда давление сделать фото, или когда простыл. Ии научится и по фото будет предупреждать, что завтра у тебя будет давление))