Чтобы сэкономить на ИИ-разработках, Meta* запускала модели на неподходящих CPU-процессорах и отстала в «гонке» — Reuters

И в конечном счёте всё равно потратила «миллиарды долларов» на дорогие процессоры от Nvidia.

В сентябре 2022 года глава Meta* Марк Цукерберг провёл совещание с ведущими сотрудниками отдела, занимающегося, помимо прочего, ИИ-разработками. Вместе они заключили, что для прогресса в сфере ИИ у компании не отлажены рабочие процессы и инфраструктура, узнало Reuters из внутренних отчётов, а также бесед с сотрудниками.
Ключевая причина, по которой компания Цукерберга отстаёт в сфере ИИ-разработок, — это её непоследовательность в выборе процессоров, рассказали источники агентства. Самыми распространёнными, а также универсальными считаются графические процессоры (GPU). Однако до 95% рынка контролирует Nvidia, поэтому высоки как цены на чипы, так и зависимость заказчиков от одного поставщика.
Чтобы не раздувать бюджеты, Meta* использовала CPU — центральные процессоры: на них десятилетиями работали дата-центры, но с задачами, которые нужны для обучения и запуска ИИ-моделей, они справляются «плохо», поясняет Reuters.
По словам двух источников, параллельно компания использовала чипы собственной разработки, но только для этапов, когда уже обученные на данных нейросети выносят суждения и генерируют ответы (эту задачу ещё называют inference).
Уже в 2021 году компания поняла, что такой «раздвоенный» подход неэффективен, и лучше было бы сразу работать на GPUs. Она не стала масштабировать производство inference-чипов, к чему планировала приступить в 2022 году, и вместо этого заказала GPU от Nvidia на «миллиарды долларов», рассказал собеседник агентства.
Чтобы их разместить, пришлось переоборудовать дата-центры, повысить пропускную способность сети в 24-32 раза и установить системы жидкостного охлаждения. Затраты на «перестройку» увеличили квартальные капитальные расходы примерно на $4 млрд и совпали с кризисом на ИТ-рынке, из-за которого Meta* уволила больше 10 тысяч человек в 2022 году.
В процессе переоборудования Meta* решила с нуля разработать ещё один чип — на этот раз аналог GPU, чтобы с его помощью можно было ещё и обучать ИИ-модели. Она не комментировала эти планы публично, но, по данным источников, рассчитывает завершить работу к 2025 году.
До зимы 2022 года компания говорила, что разработка генеративных ИИ-моделей не приоритетна и направляла усилия на решения для рекламных и видеосервисов, а также новостных лент. Руководство пересмотрело взгляды после релиза ChatGPT и на фоне растущего интереса к таким технологиям со стороны инвесторов.
Уже в феврале 2023 года Цукерберг рассказал, что компания усилила отдел ИИ-разработок. То же подтвердил технический директор Meta* и заявил, что теперь большую часть времени он и глава компании посвящают развитию генеративных ИИ-моделей. Раньше же главным фокусом была метавселенная, вспоминает Reuters.