От теории из оригинальной академической статьи до ее реализации на Python с OpenAI, Weaviate и LangChain
Полное руководство по оценке компонентов системы RAG: что необходимо знать
Системы дополненной генерации (RAG) были разработаны для улучшения качества ответа крупной языковой модели (LLM). Когда пользователь отправляет запрос, система RAG извлекает релевантную информацию из векторной базы данных и передает ее в LLM в качестве контекста. Затем LLM использует этот контекст для генерации ответа для пользователя. Этот процесс…
Сравнение бенчмарков LLM для разработки программного обеспечения
В этой статье мы сравним различные бенчмарки, которые помогают ранжировать крупные языковые модели для задач разработки программного обеспечения.
Оценка LLM: комплексные оценщики и фреймворки оценки
В этой статье подробно описываются сложные статистические и предметно-ориентированные оценщики, которые можно использовать для оценки производительности крупных языковых моделей. В ней также рассматриваются наиболее широко используемые фреймворки оценки LLM, которые помогут вам начать оценивать производительность модели.
Как оценивается поэзия, созданная искусственным интеллектом?
Могут ли люди отличить созданные ИИ стихи от "человеческих"? Чьи словесные произведения оцениваются выше - "людские" или нейронные? Есть ли предвзятость в оценках? Уверяю, ответы вас удивят.
Как оценить LLM модель
В одном из прошлых блогов я представил концепцию тестирования крупных языковых моделей (LLM). Однако тестирование крупных языковых моделей (LLM) - достаточно сложная тема, которая требует дальнейшего изучения. Существует несколько соображений относительно тестирования моделей машинного обучения и, в частности, LLM, которые необходимо учитывать при…
Оценка LLM: метрики, фреймворки и лучшие практики
Дженсен Хуанг в своем выступлении на саммите «Data+AI» сказал: «Генеративный ИИ есть везде, в любой отрасли. Если в вашей отрасли еще нет генеративных ИИ, значит вы просто не обращали внимания на это».
Краткий обзор LLM бенчмарков
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не следует вкладывать ресурсы в их сравнение, потому…
Как оценить качество LLM модели
В этой статье мы представим общий обзор текущего состояния исследований оценок LLM, а также расскажем о некоторых опенсорсных реализациях в этой области. Из этого поста вы узнаете:
Полный гид по бенчмаркам LLM
В этом посте мы представим подробный каталог бенчмарков, разбитый на категории по сложности, динамике, целям оценки, спецификациям конечных задач и типам рисков. Понимание их различий поможет вам разобраться в бенчмарках LLM в условиях их стремительного развития.
Fine-tuning больших языковых моделей в 2024 году
Не секрет, что большие языковые модели (LLM) эволюционируют с безумной скоростью и привлекают внимание всей отрасли генеративного ИИ. Корпорации не просто заинтригованы, они одержимы LLM, и в частности, потенциалом fine-tuning LLM. В исследования и разработку LLM сейчас вкладываются миллиарды долларов. Лидеры отрасли и энтузиасты технологий всё сил…
Supervised Fine-Tuning: как настроить LLM под конкретную задачу?
Пожалуй, для адаптации больших языковых моделей (large language model, LLM) под чётко очерченные задачи обработки естественного языка (natural language processing, NLP) нет технологии лучше, чем SFT (supervised fine-tuning). Для дообучения модели её необходимо предварительно обучить, а это означает, что она уже многому научилась из широкого спектра…
Как с помощью supervised fine-tuning кастомизировать LLM
В быстро развивающейся сфере Natural Language Processing (NLP) fine-tuning стал мощным и эффективным инструментом адаптации предварительно обученных больших языковых моделей (Large Language Model, LLM) под конкретные задачи. Предварительно обученные LLM (например, семейство GPT) продемонстрировали существенный прогресс в понимании и генерации языка…
Что такое supervised fine-tuning?
Supervised fine-tuning (SFT) — это методика, применяемая для адаптации предварительно обученных Large Language Model (LLM) под конкретную задачу при помощи размеченных данных.
Самые популярные LLM бенчмарки
Бенчмарки LLM помогают оценивать точность больших языковых моделей, обеспечивая стандартизированную процедуру измерения метрик выполнения различных задач.
ChatGPT хорошо умеет обманывать
OpenAI разработала новый бенчмарк SimpleQA для оценки достоверности ответов больших языковых моделей (LLM). Результаты, мягко говоря, неутешительные. Даже самые продвинутые модели демонстрируют удручающе низкую точность.
Sony и AI Singapore объединились для создании новой LLM “Морской котик” (SEA-LION LLM)
“Пионеры” изобретений будущего Sony Research объявили о коллаборации с AISG для разработки модели с улучшенным пониманием языков.
Преимущества Tesla H100 в ML
Меня зовут Руслан, я инженер-программист, автор YouTube канала Ruslan Dev, специализируюсь на облачных вычислениях и машинном обучении. В этом кейсе я расскажу о своем опыте разработки больших языковых моделей (LLM). Так как один из самых передовых графических процессоров Н100 стоит как крыло самолета, я арендовал ее через облачный сервис immers.cl…
Почему Llama 3.1 - лучшая открытая нейросеть
В последние месяцы выходит большое количество нейросетей, но только небольшое количество из них заслуживает внимания. Сегодня поговорим о нейросети *Meta Lama 3.1 (признана в РФ экстремистской организацией и запрещена).
Command R+ обгоняет Qwen2: чем хороша LLM от Cohere?
Сегодня рассмотрим, на что способна LLM Command R+ и чем она может быть вам полезна (спойлер: Command R+ очень и очень перспективна).
Llama 3.1 и Mistral Large 2
В прошлом месяце вышли две интересных модели - Llama 3.1, улучшенная версия Llama 3, и Mistral Large 2.
Новая LLM Suite меняет финансовую сферу
“Думайте о LLM Suite как об аналитике-исследователе, который может предложить информацию, решения и советы по определенной теме”.
Как я обучил модель, которая понимает русский лучше GPT 3.5 Turbo
Меня зовут Ruslan Dev и в этой статье я расскажу, как я смог обучить модель, которая превзошла GPT 3.5 Turbo на русскоязычной части MT-Bench. Также я рассмотрю новую конфигурацию для обучения на двух графических процессорах параллельно с помощью accelerate и deepspeed.
⚡️ FP8 LLMs: набор квантированный моделей с увеличенной эффективностью и производительностью под vLLM
Как бесплатно попробовать Gemma 2 9B и 27B от Google: 5 способов
Прошло всего несколько недель с тех пор, как Google выпустила свою самую мощную легкую LLM, Gemma 2. Я экспериментировал с ней на разных платформах и решил поделиться пятью способами, с помощью которых вы можете попробовать Gemma 2 бесплатно.
Как создать copilot с нуля?
С Дмитрием Браженко (Microsoft) построили RAG с нуля и улучшили его с помощью механик и эвристик.
GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft.
Креативность: битва людей и машин
Появление ChatGPT породило споры, в какой степени искусственный интеллект (ИИ) может конкурировать с человеком по креативности, в какой степени ИИ приближается к творчеству человеческого уровня? Проведено поистине масштабное и тщательное исследование, в котором сравнили креативность 100 тыс.(!!) человек и 9 языковых моделей.