Andrey Tatarinov
Keras на TF. Самое хорошее инструментирование у такой конструкции
Пока нет, сейчас мы ориентируемся на сопровождение процесса нашими инженерами.
У нас есть в планах выставить в интернет демо-версию категоризации, но решили начать со статьи :)
Если вдруг интересует проверить применимость подхода к вашей задаче, напишите, пожалуйста, на hello@epoch8.co
Андрей, напишите, пожалуйста, на hello@epoch8.co с деталями вашей задачи (объем базы, предполагаемый размер категорийного дерева, есть ли у вас модераторы), и мы вам обязательно ответим!
Илья, так в этом и смысл, что описанный процесс - это Active Learning, процесс настроен на сбор большего количества данных именно в тех категориях, где данные неоднозначны и модель ошибается.
Даже если изначальные данные плохие (что как правило и бывает), процесс итеративной доразметки приводит к построению сбалансированной обучающей выборки.
Стек и подход к MLOps зависит от области.
Стек:
- CV/NLP - Pytorch, Huggingface transformers, Mmdetection, Torchvision. (еще был болезненный опыт с TF Detection API :))
- чатботы - RASA и NLU модели HF transformers через обучалку RASA или собственные.
- табличный ML - XGBoost и опять же эксперименты с трансформерами
- recsys - разные матричные разложения типа ALS и трансформеры :)
Деплой:
- если делаем как хотим, то K8s + KServe
- если надо попроще, то самописный сервис с API под задачу