Азбука ЛЛМ
Азбука в понимании ЛЛМ:)
Много общаюсь с коллегами в ИТ и замечаю, что понимание принципов работы AI, а, в особенности, LLM не всегда даётся на изи даже тем, кто давно в ИТ)
Сейчас бизнес массово хочет видеть ии-агентов, нейросотрудников, а чтобы их создавать и поддерживать, нужно понимание принципов работы ЛЛМ) В связи с чем решила делать словарь ЛЛМ.
Сначала разберём ключевые понятия, далее — по алфавиту)
- Большая языковая модель (LLM) — языковая модель c миллионами параметров, обученная на масштабных текстовых корпусах (ChatGPT, Gemini, etc.).
- Токен (token) — минимальная единица текста, с которой способны работать большие языковые модели. Любой текст перед обработкой LLM предварительно преобразуется в последовательность токенов, которые затем переводятся в числовые представления, удобные для последующей обработки моделью.
- Инференс — это процесс использования обученной языковой модели для генерации текста, ответов или выполнения других задач без изменения её параметров.
- Embedding (Эмбеддинг) — это представление дискретного элемента (слова, токена, предложения, документа) в виде плотного числового вектора фиксированной размерности. Эмбеддинги позволяют языковой модели работать с текстом как с математическими объектами. Машины не понимают текст 'напрямую'. Чтобы обрабатывать слова, модель должна получить их векторное представление, где схожие по смыслу слова находятся близко в пространстве – например, ["кошка"] рядом с ["кот"], а противоположные по смыслу слова — далеко: ["яблоко"] далеко от ["транзистор"].
- Контекстное окно (context window) связано с объемом информации (обычно в токенах), который модель может одновременно обработать и учесть при генерации ответа. Это как "краткосрочная память" модели, определяющая, насколько длинный текст она может помнить и использовать для понимания текущего запроса и создания следующей части текста.
- Галлюцинации — уверенный, убедительно звучащий, но фактически ложный ответ, который генерирует модель, несмотря на отсутствие обоснования в данных или реальности. Возникают из-за вероятностной природы моделей.
- Агент (агентность) — автономный софт, использующий LLM, внешние инструменты и память, чтобы самостоятельно ставить и решать подзадачи.Пример: «research‑агент» собирает статьи, резюмирует и формирует отчёт.
Здесь больше инфы по LLM и агентам (гайды, тулы):
Начать дискуссию