Запуск моделей на консьюмерском железе: мифы и реальность
Скажу непопулярную вещь, но желание запускать свои модели на консьюмерском железе — дроч и прокрастинация.
Да, есть 10% тех, кому это реально нужно. Остальные же занимаются ерундой, вместо того чтобы заплатить 20 баксов за облачные сота модели.
Но я хочу работать с заказчиками которые будут рассматривать только self-hosted! Поэтому мне сразу нужно с этим работать.
Да, поэтому до тех пор пока вы не получили с него денег или не подписали твердого контракта — делайте демо с облаками и показывайте прототипы с ними же. Вы быстро поймете, что в отказе вам заплатить бабок есть миллион отмазок, и просто люди выбирают самую удобную 🙂
Иначе вы станете крутым спецом по развертыванию всякой шляпы на макбуке, пока другие люди пилят свои продукты и зарабатывают.
Подписывайтесь на Telegram Глеб про AI.