Код отладчика Transformer Debugger для работы с моделями от OpenAI опубликован на GitHub

OpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.

Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки. Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенами и почему выводит их в качестве ответа на запрос.

Выпуск включает в себя следующие компоненты:

⏩Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.

⏩Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода. Он же нужен для работы с общедоступными контейнерами Azure.

⏩Models — простая библиотека выводов для моделей GPT-2.

⏩Примеры наборов данных для нейронов MLP и фокусов внимания.

🖥 Код Transformer Debugger написан на Python и доступен на GitHub. Вместе с этим разработчики OpenAI поделились подробными инструкциями и документацией.