Что такое токены и зачем они нужны
В прошлый раз мы говорили о промптах - ваших запросах к нейросетям. Сегодня разбираемся, как ИИ читает эти запросы.
Нейросеть не видит текст так, как видишь его ты. Чтобы понять смысл, она разбивает твой промпт на маленькие кусочки - токены 🔄 Это могут быть слова, части слов или даже знаки препинания. У разных моделей токены различаются.
Представь, что токены - это строительные блоки. Модель собирает их в определённой последовательности, чтобы понять, что вы от неё хотите.
Качество ответа: Чем длиннее ваш промпт, тем больше токенов он содержит. Модель может обработать только определённое количество токенов за один раз. Если ваш запрос слишком длинный, часть информации просто не будет учтена.Скорость: Чем больше токенов нужно обработать, тем дольше модель будет думать.Стоимость: Многие сайты для работы с ИИ берут плату именно за количество токенов, которые вы отправляете.
☑Вывод: Чтобы получить качественный результат, держите стартовый промпт в пределах 800-1 600 символов (200-400 токенов). Если задача большая, то разбивайте её на части и подавайте итеративно: так ИИ «переваривает» информацию точнее.
P.S. В следующем посте мы объясним, что такое «контекстное окно» и как ИИ «помнит» ваши запросы