Pocket AutoML: Android-приложение для тренировки нейросетей без кода с возможностью создать своё приложение на их основе

Pocket AutoML — это Android-приложение, которое позволяет тренировать модели глубокого обучения (deep learning) для классификации изображений без написания кода. Есть возможность экспортировать модель в формате TensorFlow Lite и создать на основе этой модели собственное Android-приложение, для чего прилагается пошаговое руководство.

Тренировка работает прямо на устройстве, за счёт этого для неё не требуется подключение к интернету, нет проблем с конфиденциальностью, т.к. изображения не покидают устройства пользователя. Теми же преимуществами будут обладать и приложения, созданные на основе экспортированных из Pocket AutoML моделей. Единственная функция, требующая подключения к интернету, это экспорт в TensorFlow Lite.

Руководство написано для людей, которые интересуются deep learning и созданием приложений на его основе, при этом требует от них минимум знаний о программировании и машинном обучении. В руководстве включен работающий пример приложения, которое классифицирует картинки на основе модели экспортированной из Pocket AutoML и шаги по модификации примера под Вашу модель.

Pocket AutoML не делает ничего магического, лишь применяет transfer learning, который Вы, при желании, можете реализовать самостоятельно, в конце руководства есть ссылка на соответствующий пример, так что vendor lock-in Вам не грозит. Если у Вас возникнут вопросы или технические проблемы при следовании этому руководству, я буду рад здесь помочь в комментариях, в GitHub issues или по электронной почте.

На vc.ru уже был пост о Lobe, стартапе купленном Microsoft, который анонсировал свой одноименный продукт 26 октября 2020 года. Основная идея Lobe идентична: тренировка моделей без кода, экспорт, создание приложений на их основе.

Lobe работает на десктопах, Windows и Mac, также стоит отметить отличный UX, примеры использования, обучающие видео.

Первая версия Pocket AutoML была опубликована в Google Play Store 22 октября 2020го, даже чуть раньше, чем дата релиза Lobe, правда функция экспорта моделей была добавлена только в августе этого года.

Тренировка на телефоне в Pocket AutoML может быть удобней, чем на десктопе в некоторых случаях, т.к. телефон оборудован камерой и всегда под рукой.

Pocket AutoML создавался мной в одиночку как побочный проект однако исходя из моего сравнения, не претендующего на статистическую значимость, не уступает Lobe в главном, а именно в качестве моделей. Например, на игрушечном наборе данных из щенков и котят, который я использовал для создания скриншотов выше, Lobe не достигает 100% точности даже на тренировочных данных, что, возможно, свидетельствует о слишком сильной регуляризации. При этом на тестовом наборе данных Lobe делал ошибки в картинках, которые были правильно распознаны в Pocket AutoML. Возможно, в Lobe модель тренируется без заморозки весов начальных слоёв, что, при таком маленьком объёме данных, вероятно являлось бы предпочтительным.

Анализ файлов Lobe показывает, что в качестве основы (backbone) используются предобученные ResNet50v2 или MobileNetv2 (по выбору). В Pocket AutoML используется EfficentNetB0, которая является более лёгкой (16мб против 102мб в .tflite формате по сравнению с ResNet50v2), более современной и несколько более точной моделью (по сравнению с обеими).

Кроме того, Lobe под капотом использует полный TensorFlow для тренировки моделей (а это порядка 1 гигабайта, что не очень-то приемлемо для мобильного приложения), в Pocket AutoML же использует TensorFlow Lite, в котором тренировка моделей из коробки пока не реализована, так что её пришлось реализовать самостоятельно наподобие официального примера от Google Example on-device model personalization with TensorFlow Lite. Google, к слову, грозится добавить полноценную тренировку моделей в TensorFlow Lite этом году.

Версия TensorFlow в Lobe на данный момент 1.15.2, так что реализация transfer learning там может страдать от не совсем очевидной проблемы, связанной с batch normalization слоями, решённой в TensorFlow 2.x.

Стоит также упомянуть другие решения для создания моделей без кода или с минимумом кода, а именно:

• Teachable Machine от Google (бесплатное, работает в браузере, правда мобильные браузеры не поддерживаются, тренирует модель локально, без обращения к серверу, кроме картинок может тренировать модели классификации аудио)
• Google AutoML Vision (платное, работает в облаке, но также можно экспортировать и скачать модель, кроме классификации есть детекция)
  
• Azure Custom Vision от Microsoft (платное, работает в облаке)
  
• TensorFlow Lite Model Maker от Google (бесплатное, является Python пакетом, кроме классификации есть детекция, также работа с текстами, аудио, рекомендациями)

Перечисленные решения либо бесплатны, либо имеют бесплатный пробный период (в случае облачных решений), так что каждый может оценить их точность и удобство сам.

В приложении присутствует реклама. По сравнению с первой версией я сильно её ограничил, чтобы она не раздражала пользователей: убрал рекламу в момент классификации изображения, оставил только interstitials при тренировке и экспорте (когда пользователю естественным образом приходится ждать) с сильно ограниченной частотой показа. Подумываю о том, чтобы её вовсе убрать, однако, поскольку экспорт работает на основе Google Cloud Run, который тихонько ест деньги, есть надежда, что реклама сможет окупать хотя бы эти затраты.

Для привлечения пользователей я тестировал Яндекс Директ, Вконтакте, Facebook, Google Ads. Не удалось добиться сколько либо адекватных результатов от всего кроме Google Ads, где цена привлечения пользователя составляет около 20 рублей. Лишь примерно один из четырёх пользователей, запустивших приложение использует все его возможности, а следовательно имеет шанс увидеть рекламу. При этом LTV близок к нулю, настолько, что даже если представить, что правильная настройка позволит получать пользователей на порядок дешевле, а реклама будет давать на порядок больше, платное привлечение пользователей все равно не будет окупаться.

Таким образом, думаю, можно признать, что реклама в данном случае это провальный способ монетизации, а другого я пока не придумал, так что я рассматриваю проект как образовательный для себя самого и для его пользователей.

Я профессионально занимаюсь разработкой уже более 10 лет, начинал с full-stack разработки на .NET (Pocket AutoML поэтому, а также потенциально для будущей iOS версии, сделан на Xamarin), заинтересовался deep learning и уже 3 года работаю в этой области. В данный момент работаю в стартапе, где мы автоматизируем визуальный контроль качества на производстве.

Мой опыт решения промышленных задач с помощью deep learning говорит о том, что ключевым фактором успеха является набор данных. И не настолько важно количество объектов в нём, как отсутствие ошибок в разметке, её консистентность. Эту тему хорошо раскрывает Эндрю Ын в видео A Chat with Andrew on MLOps: From Model-centric to Data-centric AI. А это значит, что даже с простой моделью, натренированной в одном из no-code решений, Вы можете получить вполне достойный результат, если только хорошо справитесь с разметкой.

Pocket AutoML в Google Play Store

Руководство по созданию собственного Android приложения для классификации изображений на основе модели из Pocket AutoML на GitHub