Fine-tuning больших языковых моделей в 2024 году

Fine-tuning больших языковых моделей в 2024 году

Не секрет, что большие языковые модели (LLM) эволюционируют с безумной скоростью и привлекают внимание всей отрасли генеративного ИИ. Корпорации не просто заинтригованы, они одержимы LLM, и в частности, потенциалом fine-tuning LLM. В исследования и разработку LLM сейчас вкладываются миллиарды долларов. Лидеры отрасли и энтузиасты технологий всё сил…

Supervised Fine-Tuning: как настроить LLM под конкретную задачу?

Supervised Fine-Tuning: как настроить LLM под конкретную задачу?

Пожалуй, для адаптации больших языковых моделей (large language model, LLM) под чётко очерченные задачи обработки естественного языка (natural language processing, NLP) нет технологии лучше, чем SFT (supervised fine-tuning). Для дообучения модели её необходимо предварительно обучить, а это означает, что она уже многому научилась из широкого спектра…

Как с помощью supervised fine-tuning кастомизировать LLM

Как с помощью supervised fine-tuning кастомизировать LLM

В быстро развивающейся сфере Natural Language Processing (NLP) fine-tuning стал мощным и эффективным инструментом адаптации предварительно обученных больших языковых моделей (Large Language Model, LLM) под конкретные задачи. Предварительно обученные LLM (например, семейство GPT) продемонстрировали существенный прогресс в понимании и генерации языка…

Разметка данных в Label Studio при помощи GPT-4: интеграция ML Backend

Разметка данных в Label Studio при помощи GPT-4: интеграция ML Backend

В предыдущей статье мы показали, как можно ускорить процесс разметки предварительным аннотированием данных при помощи GPT-4. Эта методика позволяет нам загружать готовый к проверке предварительно размеченный датасет, а не выполнять монотонный процесс, начиная с нуля. В этой статье мы продолжим развивать эту тему, оказав, как можно объединить GPT-4…

Что такое supervised fine-tuning?

Supervised fine-tuning (SFT) — это методика, применяемая для адаптации предварительно обученных Large Language Model (LLM) под конкретную задачу при помощи размеченных данных.

Что такое supervised fine-tuning?

Разметка данных в 2023 году: текущие тренды и требования будущего

Разметка данных в 2023 году: текущие тренды и требования будущего

9 лучших инструментов аннотирования изображений для Computer Vision

9 лучших инструментов аннотирования изображений для Computer Vision

Руководство по аутсорсингу разметки данных для машинного обучения

Руководство по аутсорсингу разметки данных для машинного обучения

Разметка данных: бизнес на миллиарды долларов, лежащий в основе прогресса AI

Разметка данных: бизнес на миллиарды долларов, лежащий в основе прогресса AI

Andrej Karpathy: глубокие нейросети 33 года назад и 33 года спустя

Andrej Karpathy: глубокие нейросети 33 года назад и 33 года спустя

Медицинские датасеты для машинного обучения: цели, типы и способы применения

Медицинские датасеты для машинного обучения: цели, типы и способы применения

Преимущества Tesla H100 в ML

Меня зовут Руслан, я инженер-программист, автор YouTube канала Ruslan Dev, специализируюсь на облачных вычислениях и машинном обучении. В этом кейсе я расскажу о своем опыте разработки больших языковых моделей (LLM). Так как один из самых передовых графических процессоров Н100 стоит как крыло самолета, я арендовал ее через облачный сервис immers.cl…

22

Как дообучать LLM с помощью Supervised Fine-Tuning

Как дообучать LLM с помощью Supervised Fine-Tuning
11

8 инструментов для аннотирования изображений в 2023 году

8 инструментов для аннотирования изображений в 2023 году

Почему Llama 3.1 - лучшая открытая нейросеть

В последние месяцы выходит большое количество нейросетей, но только небольшое количество из них заслуживает внимания. Сегодня поговорим о нейросети *Meta Lama 3.1 (признана в РФ экстремистской организацией и запрещена).

22

Как аннотировать документы для обучения ИИ распознавания текста

Как аннотировать документы для обучения ИИ распознавания текста

Лучшие ИИ-инструменты для аннотирования видео в 2023 году

Лучшие ИИ-инструменты для аннотирования видео в 2023 году

Llama 3.1 и Mistral Large 2

В прошлом месяце вышли две интересных модели - Llama 3.1, улучшенная версия Llama 3, и Mistral Large 2.

Шесть шагов для создания более качественных моделей Computer Vision

Шесть шагов для создания более качественных моделей Computer Vision

Как опенсорсные инструменты замедляют разработку моделей для анализа медицинских снимков

Как опенсорсные инструменты замедляют разработку моделей для анализа медицинских снимков
11

Самое важное с конференции NeurIPS 2021

Самое важное с конференции NeurIPS 2021
33

Хотите усовершенствовать цикл обработки данных? Попробуйте задействовать людей

Хотите усовершенствовать цикл обработки данных? Попробуйте задействовать людей
11

Десять лучших опенсорсных инструментов аннотирования 2021 года для Computer Vision

Десять лучших опенсорсных инструментов аннотирования 2021 года для Computer Vision
55

Если вы устраняете систематическую ошибку модели, то уже слишком поздно

Если вы устраняете систематическую ошибку модели, то уже слишком поздно
33

Как мы масштабируем машинное обучение

Как мы масштабируем машинное обучение
11

20+ популярных опенсорсных датасетов для Computer Vision

20+ популярных опенсорсных датасетов для Computer Vision
22

Датацентрический и моделецентрический подходы в машинном обучении

Датацентрический и моделецентрический подходы в машинном обучении
11

ML и консенсус между людьми: берём от обоих подходов лучшее

ML и консенсус между людьми: берём от обоих подходов лучшее

Подготовка датасета для машинного обучения: 10 базовых способов совершенствования данных

Подготовка датасета для машинного обучения: 10 базовых способов совершенствования данных

Как за неделю разметить миллион примеров данных

Как за неделю разметить миллион примеров данных
22

Как избавиться от проблем при разметке данных для обучения ML моделей?

Как избавиться от проблем при разметке данных для обучения ML моделей?

Как создать эффективный план разметки данных?

Как создать эффективный план разметки данных?

О важности датасета и о том, как сделать его лучше. Наш опыт

фото котиков из открытых источников

Мы подготовили 7 основных шагов, которые превратят набор картинок из гугла не просто в мощный базовый блок системы компьютерного зрения, но и основной инструмент по выявлению и устранению ошибок распознавания.

44

Зачем вам нужно использовать активное обучение при обучении нейронных сетей

Зачем вам нужно использовать активное обучение при обучении нейронных сетей

Четыре урока о создании инструментов для машинного обучения

Четыре урока о создании инструментов для машинного обучения
11

Разметка данных для машинного обучения: обзор рынка, методики и компании

Большая доля data science и машинного обучения зависит от чистых и корректных источников данных, поэтому неудивительно, что скорость роста рынка разметки данных продолжает увеличиваться. В этой статье мы расскажем о многих крупных игроках отрасли, а также об используемых ими методиках, чтобы вы могли иметь возможность выбора наилучшего партнёра в с…

Почему я изменил своё мнение о слабой разметке для ML

Почему я изменил своё мнение о слабой разметке для ML

Как Hasty использует автоматизацию и быструю обратную связь для обучения моделей ИИ

<i>CEO Hasty Тристан Руиллар (в центре), сооснователи компании Константин Проскудин (слева) и Александр Веннман (справа)</i>
11

Руководство по типам аннотирования изображений

Руководство по типам аннотирования изображений

Лучшие платформы аннотирования изображений для компьютерного зрения на 2019 год

Лучшие платформы аннотирования изображений для компьютерного зрения на 2019 год

Почему при разработке ИИ главное — это данные

Системы машинного обучения рождаются от союза кода и данных. Код сообщает, как машина должна учиться, а данные обучения включают в себя то, чему нужно учиться. Научные круги в основном занимаются способами улучшения алгоритмов обучения. Однако когда дело доходит до создания практических систем ИИ, набор данных, на котором выполняется обучение, по к…

Почему при разработке ИИ главное — это данные
33

Аннотирование текста для машинного обучения

Аннотирование текста для машинного обучения
33