В предыдущей статье мы показали, как можно ускорить процесс разметки предварительным аннотированием данных при помощи GPT-4. Эта методика позволяет нам загружать готовый к проверке предварительно размеченный датасет, а не выполнять монотонный процесс, начиная с нуля. В этой статье мы продолжим развивать эту тему, оказав, как можно объединить GPT-4…
О важности датасета и о том, как сделать его лучше. Наш опыт
Мы подготовили 7 основных шагов, которые превратят набор картинок из гугла не просто в мощный базовый блок системы компьютерного зрения, но и основной инструмент по выявлению и устранению ошибок распознавания.
Как контролировать миллионы исполнителей: инструменты и правила «Яндекс.Толоки»
Проблема качества — одна из ключевых в краудсорсинге. Когда работаешь с удалёнными, незнакомыми тебе исполнителями, невозможно угадать, кто возьмёт очередное задание. Достаточно ли он внимателен? Хорошо ли изучил инструкцию? И вообще, это человек или робот? Мы в Яндексе используем краудсорсинг каждый день. Создавать и развивать наши сервисы помогаю…
Открытые источники данных для ИИ в промышленности
Консультант по промышленному интернету вещей и искусственному интеллекту компании “Цифра” Екатерина Ляпина рассказала, как оседлать волну внедрения ИИ, быстро приступить к экспериментам с использованием открытых данных и перейти к полномасштабному внедрению.
Подборка датасетов для машинного обучения
Привет, читатель! Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения.
Как с помощью supervised fine-tuning кастомизировать LLM
В быстро развивающейся сфере Natural Language Processing (NLP) fine-tuning стал мощным и эффективным инструментом адаптации предварительно обученных больших языковых моделей (Large Language Model, LLM) под конкретные задачи. Предварительно обученные LLM (например, семейство GPT) продемонстрировали существенный прогресс в понимании и генерации языка…
Supervised Fine-Tuning: как настроить LLM под конкретную задачу?
Пожалуй, для адаптации больших языковых моделей (large language model, LLM) под чётко очерченные задачи обработки естественного языка (natural language processing, NLP) нет технологии лучше, чем SFT (supervised fine-tuning). Для дообучения модели её необходимо предварительно обучить, а это означает, что она уже многому научилась из широкого спектра…
Что такое supervised fine-tuning?
Supervised fine-tuning (SFT) — это методика, применяемая для адаптации предварительно обученных Large Language Model (LLM) под конкретную задачу при помощи размеченных данных.