Fine-tuning больших языковых моделей в 2024 году

Fine-tuning больших языковых моделей в 2024 году

Не секрет, что большие языковые модели (LLM) эволюционируют с безумной скоростью и привлекают внимание всей отрасли генеративного ИИ. Корпорации не просто заинтригованы, они одержимы LLM, и в частности, потенциалом fine-tuning LLM. В исследования и разработку LLM сейчас вкладываются миллиарды долларов. Лидеры отрасли и энтузиасты технологий всё сил…

Почему важна разметка данных: в основе ChatGPT лежит труд людей

Почему важна разметка данных: в основе ChatGPT лежит труд людей

Чат-боты стали неотъемлемой частью жизни, они в равной степени помогают нам и в работе, и в развлечениях. Одним из примеров таких ботов является ChatGPT компании OpenAI — обученная в беспрецедентных масштабах языковая модель, способная генерировать похожие на человеческие ответы на широкий спектр промтов. ChatGPT быстро набрал популярность, продемо…

Неструктурированные данные: примеры, инструменты, методики и рекомендации

В современном построенном на данных мире организации накапливают огромные объёмы информации, позволяющие принимать важные решения и выводы. Целых 80% от этой цифровой сокровищницы представляют собой неструктурированные данные, в которых отсутствует формат и упорядоченность.

Чтобы продемонстрировать объём неструктурированных данных, мы сошлёмс…

Разметка данных в 2023 году: текущие тренды и требования будущего

Разметка данных в 2023 году: текущие тренды и требования будущего

Разметка данных и/или аннотирование данных уже давно являются критически важным компонентом многих проектов машинного обучения и ИИ. В последние годы спрос на точную и надёжную разметку данных существенно вырос, ведь этот процесс становится всё более насущным для успеха множества проектов. Что же такое разметка данных? Как она повлияет на бизнесы?…

12 лучших инструментов аннотирования изображений на 2023 год

12 лучших инструментов аннотирования изображений на 2023 год

С развитием сферы искусственного интеллекта (AI) увеличивается и спрос на высококачественные инструменты аннотирования изображений. Аннотирование изображений — это процесс добавления в изображения метаданных, например, меток или тэгов, чтобы их было проще распознавать и выполнять по ним поиск машинам. Этот процесс критически важен для обучения моде…

9 лучших инструментов аннотирования изображений для Computer Vision

9 лучших инструментов аннотирования изображений для Computer Vision

На дворе 2023 год, но аннотирование изображений по-прежнему остаётся одним из самых трудоёмких этапов вывода на рынок проекта компьютерного зрения. В помощь вам мы составили список самых популярных инструментов аннотирования изображений.

Руководство по аутсорсингу разметки данных для машинного обучения

Руководство по аутсорсингу разметки данных для машинного обучения

Аннотирование и разметка сырых данных (изображений и видео) для моделей машинного обучения (ML) — это самая длительная и трудоёмкая, хотя и необходимая часть любого проекта компьютерного зрения.

Разметка данных: бизнес на миллиарды долларов, лежащий в основе прогресса AI

Разметка данных: бизнес на миллиарды долларов, лежащий в основе прогресса AI

Когда два года назад Лэй Ван стала аннотатором данных, её работа была относительно простой: определять гендер людей на фотографиях. Но с тех пор Ван заметила, что сложность её задач становится всё выше: от разметки гендера до разметки возраста, от рамок вокруг 2D-объектов до 3D-разметки, от фотографий при дневном свете до сцен ночью и в тумане, и т…

Искусственный интеллект: Нейросети, Машинное обучение и Новые Горизонты

Искусственный интеллект (ИИ) стремительно изменяет наше будущее. Все чаще мы сталкиваемся с такими терминами, как нейросети, машинное обучение, deep learning, и, конечно, с самыми продвинутыми моделями вроде GPT-4, созданными OpenAI. Поговорим о том, как ИИ проникает в повседневную жизнь и меняет отрасли, от генерации искусственных изображений до а…

Искусственный интеллект: Нейросети, Машинное обучение и Новые Горизонты

Как дообучать LLM с помощью Supervised Fine-Tuning

Как дообучать LLM с помощью Supervised Fine-Tuning

Обычно большие языковые модели (large language model, LLM) обучают в несколько этапов, включающих предварительное обучение и множество этапов fine-tuning (см. ниже). Предварительное обучение — это дорогостоящий процесс (например, требующий многих сотен тысяч долларов на вычислительные ресурсы), однако fine-tuning модели LLM (или контекстное обучени…

1

8 инструментов для аннотирования изображений в 2023 году

8 инструментов для аннотирования изображений в 2023 году

Аннотирование изображений — основа для обучения моделей машинного обучения. В статье мы расскажем о лучших инструментах аннотирования, которые сделают этот процесс эффективным.

Лучшие ИИ-инструменты для аннотирования видео в 2023 году

Лучшие ИИ-инструменты для аннотирования видео в 2023 году

Процесс добавления метаданных, тэгов или меток к различным объектам, действиям или событиям в видео называется аннотированием видео. Живые аннотаторы могут выполнять эту задачу вручную, однако благодаря ИИ существенную часть процесса можно автоматизировать. Алгоритмы ИИ используют компьютерное зрение (computer vision, CV) для изучения и понимания п…