Как микросервисы революционизировали сервис Arsenkin Tools

Небольшая история о том, как мы сделали свою платформу (микросервисы) для Arsenkin Tools. Рекомендуем дочитать эту историю до конца.

Цель микросервиса: Агрегирование поисковой выдачи Яндекс и Google из разных источников и приведение к единому формату данных для дальнейшей передачи в сервис ARSENKIN TOOLS.

Всё началось в феврале 2023 года, когда мы столкнулись с первыми проблемами основного источника поисковой выдачи (живой выдачи) для нашего сервиса. Это побудило нас задуматься о том, что нельзя полагаться только на один источник, и нам необходимо иметь хотя бы два независимых источника данных. Так возникла идея о создании единой платформы, которая позволит нам быстро переключаться между различными источниками поисковой информации для наших инструментов.

Мы начали обсуждать детали и архитектуру платформы с нашим программистом и приступили к разработке. Работу вели неспешно, в свободное время. Прошло несколько месяцев, и к апрелю мы успели завершить лишь 50% проекта.

В конце апреля 2023 года (приблизительно 28 апреля) мы столкнулись с серьезной проблемой, когда пользователи начали сообщать, что часть наших инструментов перестали работать. Оказалось, что наш источник данных поисковой выдачи отдавал ответ о неавторизованном токене, и мы не могли получить данные. Контактное лицо не смогло дать нам ясного ответа, ведь они были лишь посредниками. Через 10-12 дней нам стало ясно, что они отключили нас окончательно, так как изменили свою стратегию развития и перестали обслуживать «мелких» клиентов, к тому же, у нас не было заключенного договора с ними.

Сразу стало ясно, что ситуация не решится быстро, и нам нужно было найти выход. Временно нам помог знакомый, который также парсил данные через этого поставщика (но и его тоже скоро отключили). Это было самым быстрым решением для восстановления работы наших инструментов, так как данные оставались в том же формате, и нам не потребовалось адаптировать или переписывать инструменты.

Далее мы приняли решение ускорить разработку нашей собственной платформы и искать новые надежные источники данных. Мы обнаружили как публичные, так и закрытые источники. Весь май и июнь мы активно работали над платформой и адаптировали наши инструменты под новый ЕДИНЫЙ формат данных. В этот период мы сталкивались с временными проблемами и зависаниями, что вызвало негативные отзывы пользователей, но среди них также были люди, которые поддерживали нас.

Команда ARSENKIN TOOLS справилась с поставленной задачей, и теперь наша платформа работает стабильно и без сбоев. Естественно, иногда возникают проблемы из-за изменений со стороны сторонних сервисов, таких как Яндекс и Google. Например, последней проблемой была новая каптча от Яндекса.

• Источников Яндекс XML – 3 источника
• Источников Яндекс (живая выдача) – 3 источника
• Источников Google – 4 источника
• Источников Яндекс Wordstat – 3 источника
• Единый формат данных, который отправляется в инструменты ARSENKIN TOOLS. Это означает то, что мы источники данных для каждого инструмента меняем за 1 минуту из админки. Не нужно переписывать инструменты под каждый отдельный источник.
• Платформа находится на отдельном сервере, никак не мешает работе основного сервера с инструментами.

Мы продолжаем активно развивать платформу, добавлять новые источники данных, включая как публичные сервисы, так и закрытые. Наша цель - обеспечить диверсификацию источников данных и обеспечить стабильную и быструю работу наших инструментов.

Хочу выразить благодарность всем за поддержку и конструктивную критику. 😉 Обратная связь всегда помогает нам развиваться, воплощать новые интересные идеи, такие как создание этой платформы. Мы всегда стремимся к стабильной и высокоскоростной работе наших инструментов, и это остается нашим приоритетом.

Важно понимать, что каждая сложность, с которой мы сталкивались в процессе создания платформы, нас учила и давала ценный опыт. Мы научились быть готовыми к переменам, принимать вызовы и быстро находить решения в сложных ситуациях. До новых встреч и ждём тебя в сервисе!