В целом, MEBART представляет собой генератор заголовков на основе BART, состоящий из четырех компонентов, а именно: кодировщика 𝑓𝑒𝑛(⋅), декодировщика 𝑓𝑑𝑒(⋅), экстрактора стилей 𝑓𝑠𝑒(⋅) и Trend Extractor 𝑓𝑡𝑒(⋅). Архитектура MEBART показана на рис. 3. Как и в большинстве авторегрессоров на основе трансформаторов, сначала 𝑓𝑒𝑛(⋅) кодирует статью в последовательность скрытых состояний 𝐻𝑎𝑟𝑖 = (ℎ𝑎𝑟 𝑖1, ℎ𝑎𝑟 𝑖2,..., ℎ𝑎𝑟 𝑖𝑛𝑖 ), то 𝑓𝑑𝑒(⋅) принимает 𝐻𝑎𝑟 𝑖 в качестве входных данных для создания заголовка. Основываясь на этой схеме, мы вводим два вида предпочтений. Экстракторы (𝑓𝑠𝑒(⋅) и 𝑓𝑡𝑒(⋅)) для моделирования стилей и тенденций соответственно. Экстрактор предпочтений принимает репрезентативный текст авторского стиля или современные тенденции в качестве входных данных, и генерирует соответствующую кодировку как выход. Для статьи 𝑥𝑎𝑟𝑖 , ℎ𝑠𝑒𝑖 и ℎ𝑡𝑒𝑖 соответственно обозначают стиль кодирование и кодирование тенденции. Поскольку качества ℎ𝑠𝑒 𝑖 и ℎ𝑡𝑒 𝑖 являются решающее значение для конечного генерируемого заголовка, мы предлагаем задачу самоконтроля задачу обучения для предварительного обучения 𝑓𝑠𝑒(⋅) и 𝑓𝑡𝑒(⋅). Во время генерации ℎ𝑠𝑒𝑖 и ℎ𝑡𝑒𝑖 объединяются вместе для модификации 𝐻𝑎𝑟𝑖, направляя модель на создание персонализированные и учитывающие тренды заголовки.