Как мы автоматизировали работу с Excel-отчетами и сэкономили сотни часов: кейс интеллектуальной обработки отчетности
Когда аналитикам некогда анализировать — автоматизация приходит на помощь.
Как все начиналось
Наш клиент — крупная компания с широкой сетью подразделений. Каждый день десятки менеджеров присылают отчеты в Excel: продажи, логистика, расходы, эффективность подразделений. И это не просто таблицы — это основа для управленческих решений. Из них аналитики извлекают ключевые показатели: объемы продаж по регионам, логистические сбои, динамику затрат. Без этих данных невозможно понять, что происходит в бизнесе — и вовремя отреагировать.
Эти отчеты собираются по электронной почте и обрабатываются вручную. Аналитик открывает каждый файл, классифицирует строки, собирает сводку и фиксирует результаты — по сути, вручную формирует журнал всех найденных показателей, отклонений и итогов.
Один файл = до 8 часов работы.
Когда потоки данных выросли, возник очевидный вопрос: зачем тратить квалифицированных специалистов на механическую рутину, если можно передать это системе?
Что мы построили
Мы создали интеллектуальную систему, которая полностью автоматизирует обработку Excel-файлов. Вот как она работает:
- Сотрудник загружает файлы через понятный веб-интерфейс.
- Каждый файл отправляется в фоновую очередь задач, где автоматически обрабатывается.
- Система “читает” строки и классифицирует данные с помощью локальной языковой модели.
- Результаты сохраняются в архив и отправляются сотруднику по почте. В архив входят два сводных отчетных файла, которые можно сразу использовать в работе:
– Сводный файл по категориям. Здесь отображается итоговая разбивка строк по темам — например, «Продажи», «Логистика», «Финансы». Каждая строка получает свою категорию и подкатегорию (определены заранее вместе с клиентом), а также короткий поясняющий комментарий на основе содержания. Этот файл — основа для быстрой управленческой сводки: он показывает, о чем был файл в целом, какие темы поднимались, и в каком объеме.
Важно: в этом файле указывается только один — самый вероятный — вариант классификации на строку, чтобы не перегружать пользователя.
– Файл с топ-3 вариантами по каждой строке. Параллельно система всегда сохраняет для каждой строки три наиболее вероятных варианта классификации — с указанием вероятности (уверенности модели) по каждому из них. Это нужно для ручной валидации: пользователь может открыть файл и быстро понять, какие еще варианты «рассматривала» система, и почему в итоге был выбран именно этот. Такой подход помогает:
- оперативно выявлять спорные или пограничные случаи,
- понять логику модели в конкретных ситуациях,
- собирать примеры для последующей настройки и обучения модели на реальных данных компании.
Даже если основная статистика корректна, наличие файла с топ-3 дает прозрачность, контроль и задел на улучшение модели в будущем.
5. Пользователь видит прогресс выполнения прямо в интерфейсе и может скачать итоговый отчет.
Весь процесс занимает в среднем 10–15 минут, а не часы. Главное — никакой ручной работы.
Технологии и зачем они бизнесу
Локальная языковая модель (LLM)
Мы использовали большую языковую модель (по сути — «умный мозг», похожий на ChatGPT), которую установили прямо на серверах клиента. Она анализирует текстовые строки, понимает их смысл и автоматически определяет, к какой категории относится каждая запись.
Зачем это нужно:
- Чтобы обработка данных шла автоматически, без участия человека.
- Чтобы данные не покидали инфраструктуру компании (никаких внешних API, никаких рисков утечки).
- Чтобы бизнес не зависел от платных облачных сервисов.
Бизнес-польза: безопасность, автономность, снижение затрат на аналитику.
Почему это важно: Использование локальной модели критично для компаний, работающих с чувствительной или коммерчески важной информацией. В отличие от облачных ИИ-сервисов, локальная LLM полностью контролируема — данные остаются внутри периметра, исключая риски утечки или несанкционированного доступа. Это особенно актуально для финансовых отчетов, внутренней операционной отчетности и данных с персональной информацией. Кроме того, локальная модель позволяет настраивать поведение ИИ под бизнес-логику компании — быстро и без зависимости от внешних провайдеров.
Celery и очередь задач
Чтобы все работало быстро и параллельно, мы организовали фоновую обработку через систему задач Celery. Это компонент, который управляет фоновыми задачами. По сути, это как хорошо организованный конвейер: файлы автоматически поступают в очередь, обрабатываются параллельно, и каждый шаг выполняется в нужный момент без зависаний и потерь.
Бизнес-польза: масштабируемость без увеличения штата.
Docker и Kubernetes
Всю систему мы упаковали в контейнеры и развернули в Kubernetes. Это позволяет быстро разворачивать и обновлять систему, а в случае нагрузки — масштабировать инфраструктуру нажатием кнопки.
Зачем это нужно:
- Чтобы система легко обновлялась и не «падала» при нагрузке.
- Чтобы можно было быстро масштабироваться, если отчётов станет больше.
Бизнес-польза: легкое обновление, устойчивость, отказоустойчивость.
FastAPI, React, S3
FastAPI — быстрый и лёгкий инструмент, на котором работает серверная логика проекта. React — фронтенд: через него пользователь загружает отчёты и отслеживает процесс обработки. S3 — безопасное хранилище, куда система сохраняет обработанные данные.
Зачем это нужно:
- Чтобы пользователь мог загружать отчёты в два клика.
- Чтобы сразу получать готовый архив без помощи программистов.
- Чтобы не потерять ни одного файла и при необходимости быстро найти нужный.
Бизнес-польза: удобный интерфейс, быстрое взаимодействие, централизованное хранение.
DevOps и Helm
Проект — не только код, но и инфраструктура. Мы настроили автоматическое развертывание через Helm (набор шаблонов и конфигураций), прописали переменные, ресурсы, ограничения и проверки.
Зачем это нужно:
- Чтобы система запускалась и обновлялась стабильно.
- Чтобы обеспечить бесперебойную работу в продакшене.
- Чтобы всё было прозрачно и управляемо для команды сопровождения.
Бизнес-польза: надёжность, минимизация ручной поддержки, готовность к масштабированию.
Проблемы, которые мы решили
- Сократили время обработки с 8 часов до 15 минут.
- Снизили число ошибок в логах и классификации с 10% до менее 1%.
- Позволили обрабатывать десятки файлов одновременно.
- Сняли рутину с аналитиков, освободив их для стратегической работы.
- Повысили прозрачность: отчеты приходят вовремя, данные систематизированы, нет лишних писем.
Зачем это бизнесу
Раньше:
- аналитики сидели по выходным, чтобы успеть с отчетами;
- скорость подготовки сводок ограничивала скорость принятия решений;
- новые подразделения = новые сотрудники.
Теперь:
- система справляется с любым объемом;
- руководители получают данные вовремя и в нужной форме;
- сотрудники делают важную работу, а не копируют ячейки в Excel.
Уроки, которые мы вынесли
- Не бойтесь сложных технологий. Если они упакованы правильно — они работают на бизнес, а не против него.
- Автоматизация = рост без затрат на людей. Интеллектуальная система может заменить десятки часов ручного труда.
- Безопасность — не повод отказываться от ИИ. Локальные модели дают гибкость без риска утечки данных.
- Инфраструктура — это стратегически. То, как система устроена внутри, напрямую влияет на стабильность бизнеса.
Что дальше
Система уже приносит пользу. Ее можно адаптировать под любые шаблоны отчетности — не только Excel, но и данные из CRM, ERP, 1С. Мы оставили задел для интеграции с внутренними BI-панелями, чтобы руководители могли видеть отчеты вживую — не дожидаясь файлов на почту.
Если вы чувствуете, что отчетность тормозит бизнес — значит, пора пересобрать процесс. Мы поможем сделать это — без боли и глобальных перестроек процессов – web@2-up.ru