Основная идея Adam-mini заключается в том, что матрица Гессиана нейронных сетей, особенно трансформеров, имеет почти блочно-диагональную структуру. Такая структура подразумевает, что для оптимальной работы различных блоков может потребоваться разная скорость обучения.
Как заставить NVIDIA и остальных тех.гигантов работать на вас, а не вам на облачные корпорации: Релиз🛸 LinearSelector и Shield AI🛡️Protector 🚀OpenSource🚀
Пока индустрия ИИ идет по пути увольнения программистов и бесконечного наращивания мощностей и скрытых ограничений в облаках, я решил пойти вглубь — к математике и железу
Система для обучения нейронных сетей: как мы создали мощный отказоустойчивый сервис для бизнеса и разработчиков
Машинное обучение стало популярной темой в последние годы, причем не только в среде разработчиков, но у широкой общественности. При этом разработка моделей для обучения нейронных сетей требует высокого уровня знаний и опыта в предметной области. Не все, кому она требуется, могут обучить себе модель самостоятельно, а обращаться к сторонним специалис…
Production AI сервер за ₽0: как я собрал машину из хлама, которая генерирует дизайны для лазера
Помните мою статью про локальные LLM за 15 минут? Оказалось, люди хотят не просто знать про ИИ в теории — они хотят его собрать и запустить прямо сейчас. Результат: я потратил выходной на сборку production-grade ML сервера. Без облака. Без подписок. Без зависимости от OpenAI.