Как я переехал из Google Таблиц на MariaDB и ускорил работу системы в 7 раз
Многие начинают бизнес на Google Таблицах — это быстро и бесплатно. Но когда у вас 4 бизнеса, 20 магазинов на Яндекс.Маркете и десятки тысяч заказов, лимиты Google начинают душить.
Рассказываю, как я спроектировал и реализовал переезд системы YMarket ETL на профессиональный стек.
Что было «ДО»:
- Стек: Apps Script (GAS) + Sheets.
- Проблемы: Таймауты в 6 минут, медленный getValues(), лимиты на создание PDF и отсутствие прокси, что приводило к блокировкам API.
- Результат: Выгрузка шла 20 минут, система часто падала.
Что стало «ПОСЛЕ»:
- Стек: Python 3.10, MariaDB, Streamlit, Node.js.
- Архитектура: ETL-процессы на Python через SSH-туннели (SOCKS5) для каждого кабинета, Web-интерфейс на Streamlit и Telegram-бот на aiogram.
Цифры:
- Скорость: Выгрузка ускорилась с 20 до 3 минут (в 7 раз!).
- Масштабируемость: Сняли лимит в 10 млн ячеек — теперь количество заказов не ограничено.
- Надежность: 100% uptime благодаря индивидуальным прокси для каждого бизнеса.
Это пример того, как архитектурный подход превращает «костыльную» таблицу в автономную бизнес-систему.