Курс «Разработка LLM с нуля»
Представляю вашему вниманию курс, который я недавно опубликовал на Степике - Разработка LLM с нуля.
В курсе вам предстоит с нуля разработать современную LLM и все необходимые для ее работы компоненты:
- Токенизатор (BPE)
- Эмбеддинги (Токенов и Позиционные)
- Блок Декодера: Multi-Head AttentionFeedForward-слоиОстаточные связи
- Вероятностная генерация
После того, как основной код будет готов, мы соберем необходимый для pre-train'а датасет и обучим свою LLM.
Разработка будет вестись на Python и низкоуровневых компонентах PyTorch.
Курс платный. Следующие две недели по промокоду FIRST предоставляется скидка 50%.