Как мы делаем быстрый LTE интернет для офисов, трансляций, спектаклей, частных домов сразу с нескольких сим-карт

В статье расскажу про клиентов summator.me, удачные и неудачные кейсы использования «сумматора интернетов». Расскажу про то, как мы делали первую партию девайсов, про закупку комплектующих, проблемы и решения, про то, как обновляем продукт и развиваем бизнес.

Возможно вы уже читали историю про то как мы начинали делать девайс, суммирующий трафик с нескольких сим карт - summator.me . Если не читали, то прочитайте эту статью.

В этой статье я расскажу:

• Как мы делали первую партию сумматоров
• Где сумматор работает хорошо
• Где сумматор работает плохо
• Про обновление сумматора: cat6 модемы, свое суммирование, новые корпуса
  
• Про дефицит железа и серверов, акселерацию в Физтех.Старт, как подавались в YCombinator
  
• Дальнейшие планы по проекту

В сентябре 2020 мы впервые написали про сумматор интернетов. За 1 неделю к нам обратилось более 60 человек, с просьбой сделать им нормальный интернет и два десятка людей с предложениями о сотрудничестве. Через 1.5 месяца мы собрали нашу первую партию сумматоров в 50 устройств и сразу начали отгружать девайсы первым клиентам.

Это было очень интересно, каждый день наша гипотеза подтверждалась. В Москве и Санкт Петербурге огромное количество мест, где LTE - это единственная адекватная возможность иметь выход в интернет.

Коробка-сумматор везде ведет себя по-разному. Средняя скорость коробки по Москве днем в зависимости от локации 50-80 Мбит/с. Но бывают места с очень хорошим и очень плохим LTE покрытием. Поэтому в Москве мы всегда выезжаем к клиенту, чтобы подобрать оптимальные симки и оптимальное расположение коробки для наилучшего интернета.

Сумматор почти везде очень хорошо работает на аплоад, поэтому клиенты, которые занимаются трансляциями, нас любят чуть больше остальных. Также как и компании, которым нужно много и быстро загружать что-либо в интернет.

Одним из первых наших клиентов стала девушка-бухгалтер из Москва Сити. Позвонила и сказала: "Нужен интернет. Куда кинуть деньги?" Георгий засунул коробку в рюкзак, сел на свои байк и отвез сумматор. Поставил у окна и очень порадовался, скорость была 136 Мбит/сек. Оказалось, что проводной интернет в Сити стоит очень дорого, и многие компании используют альтернативные способы. До нас клиент использовал модем от одного известного оператора, скорость была в районе 8-10 Мбит/c. Это медленно (2021 год лол), но жить можно; хуже, что раньше соединение периодически отваливалось. Короче, клиент остался очень рад коробочке-сумматору.

Клиент организовывал IT-конференцию в отеле на Павелецкой. По какой-то причине у них не было возможности воспользоваться проводным интернетом от отеля. Ребята заказали сразу 3 сумматора для онлайн-трансляции, одну из них потом выкупили себе. Коробочки выдавали в районе 100 Мбит/сек каждая.

Обеспечили интернетом интерактивный онлайн-спектакль "Кандидат" от театра Импресарио в Центре им. Мейерхольда на Новослободской. Задача была обеспечить 6 компьютеров хорошим интернетом, чтобы актеры могли бесперебойно исполнять роли на zoom-звонке со зрителями.

Во время проведения шоу в самом центре Мейерхольда перекладывали оптику, и была доступна только резервная полудохлая линия. Мы использовали сразу несколько сумматоров — по одному на двух актеров и ещё один для компьютера монтажера-координатора (не уверен в термине, но вы поняли, думаю).

Позвонил клиент из Балашихи, у него 2 загородных дома и несколько автомобилей. Работает из дома (домов?), нужен постоянный интернет, и в машине тоже. В поселке нет провода и не предвидится. С телефона раздается медленно, йота работает медленно. Поставили сумматор, скорость интернета на 6 модемах 175 Мбит/c. Обычно мы ставим 4 модема на коробочку, но клиенту нужен был повышенный уровень комфорта :)

Иногда нашим клиентам не везет с проводным интернетом, но везет с LTE покрытием. Приехали в школу маникюра, поставили коробку - скорость интернета 130 Мбит/сек.

Сначала мы поставили 1 коробочку клиенту в офис. Клиент пользовался сумматором месяц, и затем заказал еще 3 коробки в свои другие офисы/помещения.

Например когда LTE в локации просто плохой. Или мы приезжаем, и на замерах все хорошо, но потом в течении дня происходят сильные просадки LTE. Основные причины: либо слабый сигнал, либо большая загруженность базовых станций в пиковые рабочие часы.

К нам регулярно обращаются клиенты из этого места. Видимо, как это часто бывает, в БП Румянцево собственник площади сговорился с интернет-провайдером. Арендаторы не могут насладиться плодами свободной конкуренции, проводной интернет стоит неадекватно дорого.

Мы пытались помочь резидентам Румянцево, но ничего не получилось. С четырех модемов получается выжать не больше 5-15 Мбит/c. Cигнал с каждого из операторов очень слабый, либо LTE и вовсе отсутствует. Про бизнес-парк ходят слухи, что там стоят глушилки, но более вероятно, что людей там много, а вышек поблизости — мало, впрочем, может быть, это тоже часть заговора.

Тоже неудачный кейс. В конце 2020 и начале 2021 года все работало хорошо, но в феврале 2021 что-то случилось с покрытием Мегафон, Теле2 и Билайн. МТС работает более-менее сносно . Один наш клиент сидит на сумматоре с 4 своих симок МТС. Сами мы симки МТС ставить перестали, потому что не смогли договориться с ними о безлимитных тарифах без ограничений по скорости. Так что если вы из МТС и хотите сотрудничать — пожалуйста пишите.

В первой версии сумматора мы использовали модемы Huawei e3372h-153 c LTE модулем 4й категории (Cat4). Правда с ними возникли сложности: они стали сильно дорожать, и их осталось мало на рынке. Если в августе 2020 года мы покупали их за 2800 рублей за штуку, то в ноябре 2020 они стоили 3300 рублей за штуку. А сейчас оптовые цены на них 3700-4000 рублей за штуку. Поэтому мы еще в ноябре решили использовать другие модемы. Нам приглянулись LTE модули более высокой, шестой категории. Наш R&D занял примерно месяц, еще 2 месяца на то, чтобы приобрести модемы в необходимом количестве и сделать партию сумматоров.

Для того, чтобы LTE Cat6 модули работали лучше, чем Cat4, нужно чтобы базовая станция поддерживала агрегацию частот, а модем был способен агрегировать эти полосы. Это до сих пор происходит не везде, даже в Москве и Питере.

Но нашим клиентам пока везет. Обычно с новыми LTE модулями скорость сумматора получается в 1.5 раза большей, чем с модемами Huawei.

Кстати, мы заметили, что Cat4 модемы Huawei выдают лучший upload, чем наши Cat6 модемы. Поэтому тем клиентам, кто занимается трансляциями, мы предлагаем чаще сумматоры с начинкой из Huawei.

Что такое Cat6, Cat9, Cat12 LTE модемы и почему они крутые?

Это более высокая категория модемов, которые умеют извлекать максимум из LTE-Advanced сетей, поскольку они работают сразу в нескольких частотных диапазонах.

LTE cat.4 устройства, которые в данный момент наиболее распространены работают только в одном диапазоне частот и скорость зависит от "ширины" диапазона. Например:

• полоса 5 МГц — 37 Мбит/с на получение и 12 Мбит/на передачу
• полоса 20 МГц — 150 Мбит/с на получение и 50 Мбит/на передачу

В сетях LTE-Advanced (LTE cat.6, LTE cat.9 и т.д.) происходит агрегация каналов на разных частотных диапазонах, таким образом достигается существенный прирост скорости 4G LTE. К примеру, если сложить полосу 10 МГц из одного диапазона и полосу 20 МГц из другого диапазона, получим полосу 30 МГц и скорость 225 Мбит/с.

Кстати, если у вас последний iPhone или флагманский Samsung, Huawei, Mi, то у вас внутри телефона находится LTE модуль самой высокой категории. Поэтому в Москве/Питере используя правильную симку во многих местах вы сможете выжать больше 100 Мбит/сек на телефоне. А то и все 200 Мбит/сек.

В первой версии сумматора мы использовали openmptcprouter для суммирования каналов. Но к сожалению он работает неидеально в ряде случаев. Поэтому мы решили написать собственное суммирование.

Наше решение является некоторым аналогом multipath tcp, но без ретрансмиссий — предполагается, что это делают более высокоуровневые протоколы. В процессе использовали наработки по multipath quic — прототип этого протокола написан на go, причем код достаточно легко было встраивать в наш проект.

Для менее надежных соединений мы предусмотрели функцию дуплицирования пакетов (вместо суммирования). Решение нацелено на то, чтобы стабилизировать и улучшить качество соединения для видеозвонков и трансляция путем посылки каждого из пакетов сразу по нескольким каналам.

MVP сделали, но большого выигрыша по сравнению с 1 модемом нет: все программы для видеозвонков автоматически подстраиваются под скорость канала, поэтому в итоге важно только то, насколько хорошо работает самый быстрый из них — а если он лагает, то пользователь все равно ощущает задержку. Поэтому пока мы решили свернуть разработку. Кстати, если кто-то знает, кому это можно продать задорого, welcome.

Пока продолжаем делать решение на стандартном openmptcprouter с нашей дополнительной программой-агентом, которая контролирует модемы и обеспечивает возможность удаленно администрировать устройство, на случаи если что-то идет не так.

После того как в ноябре 2020 мы развезли около 20 коробок с сумматорами, вскрылось несколько проблем возникающих у 20% клиентов: то отваливались модемы, то суммирующий сервер, то Raspberry.

Достаточно много времени мы потратили на решение проблем отвала модемов в текущей конфигурации железа. Также после нескольких обращении клиентов поняли, что придется разработать софт для удаленного мониторинга и администрирования. Ну, это было с самого начала понятно, но время для действий настало очень быстро. Теперь покуда хотя бы один модем с рабочей симкой вставлен в сумматор, у нас есть доступ к сумматору, и мы можем мониторить состояние устройства и быстро решать технические проблемы. Все это с согласия клиента, естественно.

Также решили оптимизировать настройку сумматоров на этапе сборки. Раньше мы настраивали их вручную. Сейчас на флешку записываем пакет необходимых программ. Эти программы обновляют Raspberry, устанавливают на него весь необходимый софт в т.ч. агента-администратора, прошивают новые модемы и прописывают данные серверов.

Для первой партии в 50 устройств мы использовали корпуса от фирмы Gainta. Тогда удалось найти их по 400 рублей за штуку.

Но для новой версии с Cat6 модемами нам хотелось что-нибудь посимпатичнее и компактнее. Корпус выбирали из большого многообразия коробок-кандидатов:

В итоге заказали корпуса в Питере у фирмы, которая специализируется на изделиях из оргстекла. Если раньше корпусом был черный параллелепипед, то сейчас это черный квадрат.

Было слева -> стало справа

Вообще, либо мы странные и очень плохо ищем корпуса, либо на малых партиях любой мало-мальски приличный корпус будет стоить от 1000 рублей за штуку. А скорее 2000 или даже 3000 рублей.

Пока мы искали корпуса, несколько раз возникала идея самим заняться этим бизнесом — быстро и недорого изготавливать корпуса на заказ.

Когда мы закупались железом в октябре 2020, в какой-то момент нам казалось что мы выкупили все распберри и модемы Huawei в Москве. Был какой-то аномальный дефицит: хотя всего-то нужно было 50 Raspberry и 200 Huawei.

Поэтому лучше закупаться на в РФ ;)

Пока пользуемся Yandex Cloud, который обходится достаточно дорого в расчете на одну коробку. Сейчас тестируем несколько других VPS провайдеров. Думаем полностью пересядем, как только найдем хорошую альтернативу.

Критерии для выбора провайдера суммирующих серверов:

• Необходим быстрый канал у самого сервера, чтобы суммирование нормально работало - не менее 300 Мбит/сек
• Белые ip - которые бы не блочились такими сайтами как avito, yandex, pleer.ru, ozon и другими сервисами которыми пользуются люди и бизнес
• Доступные по ценам
• Минимум 1ТБ/мес бесплатного трафика на скачку/отдачу
• Сервера должны просто хорошо работать

Это отличный акселератор для молодых бизнесов в России, могу рекомендовать. Нам очень хорошо помогали, делились экспертизой в железе, консультировали по поставкам комплектующих и знакомили с менторами.

YCombinator — это самый известный стартап-акселератор, который инвестировал в AirBnB, Dropbox, Reddit, Twitch, Docker, Gitlab и ещё кучу всего. Очень классные ребята. Дважды в год они инвестируют небольшими раундами по $125к на стартап.

Податься туда было достаточно просто. Заходите сюда, заполняете анкету о вашей компании, заполняете анкету каждого основателя компании, снимаете короткий питч и отправляете заявку на ревью. Главное показать, что у вашего стартапа есть глобальный потенциал, сильные метрики и гипотезы, а также команда, которая точно "затащит".

Это наш 1-минутный питч, после которого нас пригласили на интервью с партнерами YC.

Мы долго готовились к 10-минутному видео-звонку с партнерами, кажется очень хорошо подготовились, но к сожалению в программу нас не взяли.

Если вы Российский стартап и хотите делать что-то зарубежом, то вам нужно очень четко донести до зарубежных клиентов/партнеров/инвесторов, что иностранная часть бизнеса никак не будет связана с Россией.

Такой был комментарий. Видимо мы не донесли, что данные не будут идти в РФ. Все равно забавно получилось :)

Но круто, что нас позвали на повторное интервью в следующий бэтч.

Происходит много интересных штук вокруг проекта.

Сейчас ведем R&D по железу, чтобы сделать еще более стабильное устройство для промышленных применений. Вероятно доведем до прода свое собственное суммирование, сделаем решения для транспорта и промышленных объектов. При этом продолжаем активно развозить коробки по офисам в крупнейших городах.

Если вдруг есть идеи сотрудничества, пишите мне в ФБ, на почту [email protected]

Если интересна коробка, заходите на summator.me

Stay tuned!