1. Входный эмбеддинг
Создание трансформера начинается с преобразования текста в числовые представления. Процесс включает: - Токенизация: текст разбивается на токены — отдельные слова или их части. Это делается для получения представлений фиксированной длины, удобных для обработки моделью. - Эмбеддинг: каждому токену соответствует вектор из заранее о…