💰🤖 DeepSeek за копейки: как Китай удивил всех

Оказывается, чтобы взорвать индустрию ИИ, не нужны миллиарды. Китайцы из DeepSeek натренировали свою модель R1 всего за $294 000 и 512 чипов Nvidia H800. Для сравнения — OpenAI и Google на такие суммы только кофе для дата-сайентистов закупают.

DeepSeek пошёл другим путём. Они отказались от привычной методики обучения при помощи огромных датасетов с ручной разметкой и миллиарда токенов. Вместо этого модель учили методом reinforcement learning from reasoning (RFR) — по сути, заставляли её самой думать и ошибаться, получая награду за правильное рассуждение и штраф за промах.

Сначала нейросеть генерировала множество возможных решений задачи, а потом отбирала из них лучшие — буквально тренировалась на собственных попытках. Этот цикл повторялся бесконечно, пока модель не научилась рассуждать всё лучше. Получается, что вместо того чтобы кормить модель готовыми ответами, ее поставили в ситуацию «разберись сама».

Такой подход отлично работает там, где есть строгий критерий правильности: математика, логика, код. В этих дисциплинах R1 и выстрелила — решала задачи и писала программы, словно школьник, которому ставят оценки за каждое уравнение.

Есть и забавные побочки. Когда просили модель объяснить решение, она могла выдать простыню на 10 000 слов, ещё и вперемешку английского с китайским. Типичный студент: главное — объём, а смысл как-нибудь приложится. Позже инженеры DeepSeek подправили этот баг — добавили ограничения на длину рассуждений и сделали объяснения более структурированными и компактными. Теперь R1 из графомана превратился в отличника, который пишет по делу.

Разумеется, не без политики. DeepSeek встроил фильтры, и модель избегает «чувствительных» тем — например, запросов про Компартию Китая, Тайвань, Тибет или Фалуньгун. Если попытаться заставить её сгенерировать текст на такие темы, результат будет либо пустой, либо намеренно «кривой» — встроенная самоцензура в действии.

Но в любом случае результат и эффективность впечатляющие. Китайцы показали, что можно собрать модель мирового уровня, не сжигая миллиарды долларов и мегаватт.

Западные ИИ-компании любят хвастаться бюджетами, зарплатами и литрами воды, выпитой их дата-центрами. Но результат на лицо: иногда, чтобы достичь цели, достаточно просто хорошенько подумать. 😊

Подписывайтесь на Telegram PromtScout.