Как стартап по разработке AI-ускорителей получил 100 миллионов долларов

Модели нейросетей растут, проводятся сотни новых исследований каждый год – компаниям не хватает вычислительных мощностей.

И Recogni сыграл на этом, переквалифицировавшись в разработчиков новой архитектуры для ускорителей ИИ.

В этом обзоре расскажем про историю компании и о том, почему же она получила круглую сумму за наработки в этом направлении.

Round: 102 млн долларов, 20 февраля

Изначально стартап Recogni, основанный в 2017 году, на фоне финансового бума в сторону беспилотного транспорта, разрабатывал чипы для обнаружения "других" средств. Только вот по данным PitchBook, американские стартапы по производству беспилотных транспортных средств в 2023 году привлекли $1 млрд по сравнению с $11,2 млрд двумя годами ранее.

Например, беспилотное воздушное такси — это вопрос аэронавигации, контроля трафика. Беспилотное такси — возможный рост травм, а еще дороговизна. Высокая цена за разработку беспилотников = повышенные тарифы за перевозку. Естественно, мир состоит не только из богачей. Так как крупные компании не смогли удешевить разработку и создать действительно безопасные беспилотные "ласточки" — инвестиции пошли вниз и упали почти в 11 раз.

Попытки Uber создать беспилотный автомобиль обошлись компании почти в $2,5 миллиарда долларов, но до сих пор она даже близко не приблизилась к цели, говорится в отчёте The Information.

Кстати, про беспилотное такси недавно на Хабре вышел интересный материал.

И спасла стартап новая архитектура AI-ускорителей, полностью с нуля. Это хороший пример компании, которая смог подстроиться под реалии рынков и не просто "выжить", а получить серьезные инвестиции и развиваться дальше.

Может показаться... Ну да, конечно, стартап получил долю инвестиций, это же ИИ. Хайп. Но все куда интереснее. Дело не в тренде, а обычном соотношении спроса и предложения.

Мы уже писали в другом материале про инвестиции в микрочипы и ускорители для буста работы ИИ: Сэм Альтман требует миллиарды на строительство новых производств чипов, некоторые исследовательские центры напрямую ориентированы на разработку новых технологи.

Вот совсем недавно инженеры Пельсивании разработали фотонные чипы со сверхвысокими вычислительными мощностями, равными скорости света.

Модели DL/ML расширяются в геометрической прогрессии, а значит и потребность в вычислительных мощностях растет. Безусловно, Nvidia, Intel и даже AMD пытаются удовлетворить спрос на уровне бизнеса, но число производимых чипов не соответствует реальному спросу на рынке. По данным Ассоциации полупроводниковой промышленности (SIA), в апреле 2021 г. мировые продажи полупроводников выросли на 21,7% год к году, до $41,8 млрд.

По общей статистике вообще дефицит полупроводников — обычное явление для рынка на фоне коронавируса. Вот только с постепенным ростом AI и его использования в промышленных масштабах спрос на AI-ускорители растет экспонентой и подобные "акселераторы" – лишь доля рынка полупроводников.

DL сегодня уже не про "какую-то магию” или абстрактные технологии, а реальные рекомендательные системы, поисковики с их ранжированием выдачей страниц, аналитика маркетплейсов и e-commerce, исследования в маркетинге, оценка недвижимости, подбор клиентов для кредитования, прогнозирование рынков... И все это должно работать на ускорителях.

Сегодня рост исследований в сфере ИИ, расширения "объема" моделей уже проблема — существующих вычислительных мощностей рынку недостаточно. А значит стоит ожидать непременный рост рынков чипов.

И дефицит носит подобный характер, как дефицит потребительских видеокарт после бума майнинга в Китае и коронавируса. ИИ-ускорители не производятся за пару минут. Так, например, производство нового H100 от Nvidia поколения Hopper достигает 52-х недель... Так что после выпуска ИИ-ускорителей следующего поколения Blackwell они сразу же получат плачевный статус "дефицита".

Острую нехватку ускорителей компенсируют не только открытием новых фабрик, что зачастую достаточно дорого из-за сверхтехнологичного производства, но и самими архитектурами чипов.

Так вот стартап Recogni по разработке как раз таких микросхем совсем недавно получил 102 миллиона долларов инвестиций на развитие собственной архитектуры ИИ-ускорителей.

Но, безусловно, зачем инвестировать в стартапы, если всегда можно вовлекать всевозможные средства в корпоративные гиганты Nvdia?

Нейронные процессоры — это такой специализированный класс чипов, созданных исключительно под нужды ИИ разработчиков.

Мы знаем, что нейросети работают по принципу постоянных матричных перемножений, а значит многие современные ускорители работают на TPU или, как еще их называют, тензорных ядрах.

ИИ-ускорители вывода (Inference Accelerators) предназначены для ускорения процесса выполнения инференса, то есть предсказаний или вывода моделей искусственного интеллекта. Изначально модели искусственного интеллекта обучаются на большом объеме данных на мощных графических процессорах или специализированных ускорителях обучения. Однако когда эти модели становятся готовыми к использованию, их необходимо запускать на устройствах или в приложениях реального времени.

Они позволяют значительно ускорить вычисления из-за своей заточенности на разбиение больших матриц или массивов высокой размерности на блоки. А впоследствии и накопление результатов в отдельной матрице. Сегодня они уже частично заменяют CUDA и устанавливаются даже в игровые видеокарты для работы, например, DLSS-технологии. У Nvidia самая современная архитектура с такими процессорами – Turing.

Тот же TPU-процессор от Google был специально создан для поддержки библиотек TensorFlow. Кстати, стоимость разработки их чипов — серьезная проблема, но к этому мы еще вернемся.

Но есть и другие виды нейропроцессоров. Самый прямолинейный — нейроморфный, построенный по кластерной ассинхронной архитектуре, где каждое ядро эмулирует работу нескольких сотен нейронов. И машина с подобной архитектурой воссоздают тысячи нейронов и еще больше синапсов.

Не стоит забывать и про процессоры для машинного зрения, но они разработаны не под все виды нейросетей, а лишь под SIFT и сверточные CNN, где идет акцент на распараллеливание потока данных между ядрами.

Если возвращаться к самым распространенным сегодня TPU-ускорителям, то все они, естественно, имеют засекреченную архитектуру, но их преимущество — это постоянный рост вычислительных мощностей, которые уже превышают скорость обучение ИИ в 5 раз в сравнении с GPU или уж тем более СPU.

Но у ИИ-ускорителей, которые устанавливаются для обслуживания действительно крупные модели есть существенная проблема — энергопотребление.

Чип Recogni будет сосредоточен на более конкретной части процесса разработки, называемой логическим выводом, в ходе которой обученная модель ИИ делает прогнозы на основе новых данных. Сам основатель говорит, что их чип работает быстрее и энергоэффективнее, чем альтернативы.

Уже до этого в 2022 году стартап зарекомендовал себя с чипом Recogni Scorpio, который смог обеспечить производительность 1 петафлопс с минимальными затратами электроэнергии — это о чем-то то говорило. Создан он был прежде всего для computer vision и обработки визуальной информации и обнаружения объектов. Энергоэффективность и мощные вычисления — вот каков был залог стартапа.

Главными конкурентами по архитектуре новой архитектуры ускорителей Recogni станут представители чипов с решением Field Programmable Gate Arrays (FPGA). FPGA – это программируемые логические устройства, которые могут быть сконфигурированы для реализации различных ИИ-алгоритмов. Преимущества FPGA включают гибкость, низкую задержку обработки данных и низкое энергопотребление.

Вот данные, которые сегодня демонстрирует стартап:

Да. Спрос превышает предложение. Да, ускорители все еще прожорливы в плане электроэнергии. Но все это не вопрос роскоши и удешевления производств, сколько реальной невозможности эффективной работы и обучения крупных ИИ-моделей. Но стартапов и компаний предполагает потребность в наличии платформ для тестирования новых решений в области архитектуры.

Эта платформа может предоставлять доступ к различным видам аппаратного обеспечения, специализированным компьютерным ресурсам, библиотекам и инструментам для разработки и оптимизации ИИ-ускорителей. Таким образом, разработчики смогут быстрее создавать и тестировать новые архитектуры, оптимизировать их производительность и энергопотребление, а также исследовать различные подходы к ускорению вычислений в области искусственного интеллекта.

Эта платформа также может предлагать инструменты для анализа и сравнения производительности различных ИИ-ускорителей, что позволит разработчикам выбирать наиболее подходящие решения для своих конкретных задач.

На рынке растет спрос экспоненциально, а значит и с инвестиционной точки зрения такие стартапы должны быстро окупаться. В будущем нужно ждать раундов и с большим финансированием, измеримым в сотнях миллионов долларов. Так как чипы становятся своего рода объектом необходимости с негибким спросом. Чтобы ситуации повального дефицита не произошло легче инвестировать в новые архитектурные решения.

Развитие новых архитектур может способствовать увеличению интеграции и параллелизма на уровне микроархитектуры чипов. Это позволит эффективнее использовать имеющиеся ресурсы и улучшить скорость обработки данных.

И просто напоминаем, что в экономике никогда не бывает заинтересованного только одного лица. Чипы обеспечивают возможности обучения DL, а значит и возможностей. Например, рекомендательных систем банковского сектора и крупных медийных компаний. Они также заинтересованы в вычислительных мощностях.

Ого, вы дочитали до самого конца! Это здорово, большое спасибо вам за внимание :) Если было интересно, то будем рады лайкам и комментариям. И, кстати, если подпишитесь на наш телеграм-канал, то будете в курсе самых нашумевших стартапов, которых ещё нет в РФ, — выпускаем обзоры каждую неделю!