Процессоры для обучения ИИ и обработки видео, нейросеть для генерации кода: Meta* — о планах в области ИИ
Также компания рассказала о новых дата-центрах, предназначенных для работы с ИИ.
- Meta* провела виртуальное мероприятие, на котором рассказала о своих усилиях в области ИИ, пишет TechCrunch. В том числе — по разработке собственной инфраструктуры для ИИ-проектов.
Процессоры для обучения ИИ и обработки видео
- До 2022 года Meta* использовала для ИИ-разработок CPU-процессоры — но те плохо справляются с задачами, которые нужны для обучения и запуска ИИ-моделей. В итоге компания заказала GPU от Nvidia на «миллиарды долларов», а также решила разработать собственный чип, который, по данным источников, планировала выпустить к 2025 году.
- Этот процессор стал центральной темой мероприятия. Он называется Meta Training and Inference Accelerator (MTIA), и Meta* описывает его как «часть семейства чипов» для ускорения обучения ИИ и запуска обученной модели.
Процессор MTIA
- Как утверждает компания, первое поколение MTIA — MTIA v1 — она создала ещё в 2020 году, чтобы повысить эффективность рекомендательной модели, которую она использует для показа рекламы и контента в ленте новостей в соцсетях. Также он пока не подходит для обучения ИИ.
- Meta* признала, что процессор столкнулся с проблемами при обработке сложных моделей, но обрабатывал модели «средней и низкой» сложности «гораздо лучше, чем чипы конкурентов». Планы по разработке следующих поколений Meta* не раскрывает.
Процессор MTIA
- В дополнение к этому компания разрабатывает ещё один процессор — Meta Scalable Video Processor (MSVP). Он предназначен для обработки видео и прямых трансляций.
Процессор MSVP
Суперкомпьютер RSC
- Meta* представила суперкомпьютер AI Research SuperCluster (RSC), который предназначен для работы с задачами искусственного интеллекта, в январе 2022 года.
- Сейчас компания заявила, что она завершила второй этап сборки для него. Он состоит из 2000 систем Nvidia DGX A100, которые в общей сложности содержат 16 тысяч графических процессоров для ускорения вычислений.
Новые центры для обработки данных
- Компания собирается перепроектировать свои центры обработки данных (ЦОД) — для этого она будет использовать более современные системы охлаждения и сетевые устройства, предназначенные для работы с ИИ.
- По мнению Meta*, новые ЦОДы будут более оптимизированы для работы с ИИ, а построить такой центр можно будет в два раза быстрее, чем обычный. При этом он обойдётся дешевле.
Нейросеть для написания кода
- Meta рассказала, что разработала собственную нейросеть для генерации кода — CodeCompose. Выкладывать её в публичный доступ компания пока не собирается, а используют нейросеть сотрудники Meta*.
- По данным компании, самая большая из нескольких обученных моделей CodeCompose содержит 6,7 млрд параметров — это вполовину меньше, чем у Copilot от Microsoft и OpenAI, отмечает TechCrunch. Нейросеть сделана на основе InCoder — генеративной модели для создания кода и редактирования текста, которую Meta* показала в апреле 2022 года.
- CodeCompose умеет предлагать отдельные строки кода по мере его написания, и работает скорее как помощник, который может предлагать подсказки.
*Meta признана экстремистской и запрещена в России.
Комментарий недоступен
Мета тоже хочет денег, но пока их коммерческие продукты не находят понимания
МетаЦукер отстал в гонке куда сильнее гугла и, либо он купит что-то крайне крудое за овердохрена денег, либо прододжит тусить в своей личной пустой "вселенной".
Как же меня задолбали твои комментарии под каждой статьей. И ладно бы они были бы интересные, в контексте и по делу. У меня такое ощущение что у тебя словесный понос, лишь что запостить - «главное количество, а не качество».
Мета не плохое опен-соурс ЛЛМ выпускает кстати. У них достаточно интересные проекты появились и главное что они более открытые чем OpenAI или Google.
ктож ему продаст
Мета может выстрелить очень неожиданно, вон постом выше импланты в мозг, если матрица не за горами, у Цукерберга пара лет форы в её направлении.