CVAT. Инструкция по разметке

Немногие знают, что популярный open source инструмент Computer Vision Annotation Tool разрабатывали наши ребята в Нижегородском офисе Intel.

Весной Intel приостановил все деловые операции в России. Таким образом ребятам вырубили все доступы, а инструмент перестал обновляться.

Но не все так плохо! Сейчас команда CVAT сделала трансформацию, отделилась от Intel и продолжила развивать уже новый CVAT.ai своими силами.

Подробнее о том, как CVAT.ai будет развиваться, вы можете узнать из подкаста Антона Мальцева "Заметки Computer Vision инженера"

Мы в TrainingData.Solutions очень любим CVAT и постоянно им пользуемся. CVAT всегда позиционировал себя как глобальный международный инструмент для разметки данных. К сожалению, не все разметчики в России знают английский язык. Чтобы популяризировать CVAT и помочь русским разметчикам им пользоваться, мы решили перевести его инструкцию на русский язык. Надеюсь эта инструкция вам пригодится.

• Для начала нужно выполнить вход в инструмент CVAT.

Перейдите к панели администрирования Django. В ней можно выполнять следующие действия:

• Создавать/редактировать/удалять пользователей

• Управлять разрешениями пользователей и доступом к инструменту.

Инструкции по созданию и конфигурированию задачи аннотирования.

Создайте задачу аннотирования, нажав на кнопку +, и выберите пункт Create new task на странице задач или на странице проекта.

Учтите, что задача будет создана для организации, которую вы выбрали на момент создания. Подробнее об организациях можно прочитать здесь.

Укажите параметры задачи:

Name (название) - название создаваемой задачи.

Project (проект) - проект, с которым будет связана эта задача.

Labels (метки) - существует два способа работы с метками (они доступны, только если задача не связана с проектом):

• Constructor (Конструктор) - это простой способ добавления и настройки меток. Для добавления новой метки нажмите на кнопку Add label.

Можно указывать название метки в поле Label name и выбрать цвет для каждой метки.

При необходимости можно добавить атрибут и задать его свойства, нажав на Add an attribute:

Здесь доступны следующие действия:

1. Задание имени атрибута.

2. Выбор способа отображения атрибута:

3. Задание значений для атрибутов. Значения можно разделять, нажимая клавишу Enter. Вводимое значение отображается как отдельный элемент, который можно удалить клавишей Backspace или нажав на кнопку закрытия (x). Если указан способ отображения атрибута Text или Number, то по умолчанию введённое значение будет отображаться как текст (т. е. можно указывать формат текста).

4. Флажок Mutable обозначает, будет ли атрибут меняться от кадра к кадру.

5. Удалить атрибут можно, нажав на кнопку закрытия (x).

Для добавления новых меток нажмите на кнопку Continue. Если вам нужно отменить добавление метки, нажмите на кнопку Cancel. После добавления всех необходимых меток нажмите на кнопку Done. После нажатия на Done добавленные метки будут отображаться как отдельные элементы другого цвета. Редактировать или удалять метки можно кнопками Update attributes (Обновить атрибуты) или Delete label (Удалить метку).

Нажмите на вкладку My computer, чтобы выбрать файлы для аннотирования со своего PC. Если выбрать вкладку Connected file share, то можно выбрать файлы для аннотирования из своей сети. При выборе Remote source , отобразится поле, в котором можно ввести список URL (по одному URL за раз). Если вы загружаете видео или массив данных с изображениями и выберете опцию Use cache, то сможете присоединить файл manifest.jsonl. Инструкции по его подготовке можно найти здесь. При выборе вкладки Cloud Storage можно будет выбрать облачное хранилище (для этого необходимо ввести имя облачного хранилища), после чего выбрать файл манифеста и нужные файлы. Подробную информацию о подключении облачного хранилища можно прочитать здесь.

Sorting method

Способ сортировки данных. Неприменимо для видео. Например, последовательность файлов 2.jpeg, 10.jpeg, 1.jpeg после сортировки будет выглядеть вот так:

Use zip chunks

Принудительно использовать zip-блоки (zip chunks) как сжатые данные. Актуально только для видео.

Use cache

Эта опция определяет способ работы с данными. Установите этот флажок, чтобы переключиться на "обработку данных на лету", что уменьшит время создания задачи (благодаря подготовке блоков при получении запросов) и сохранит данные в кэш ограниченного размера с политикой устранения самых непопулярных элементов. Подробнее можно прочитать здесь.

Image Quality

Эту опцию можно использовать для задания качества загружаемых изображений. Опция позволяет ускорить загрузку массивов данных высокого разрешения. Можно использовать значения от 5 (почти полностью сжатые изображения) до 100 (несжатые изображения).

Overlap Size

Эту опцию можно использовать для создания перекрывающихся сегментов. Опция делает треки непрерывными от одного сегмента к другому. Её следует использовать для режима интерполяции. Для использования этого параметра существует множество вариантов:

Segment size

Эта опция используется для разделения большого массива данных на несколько сегментов меньшего размера. Например, одну работу (job) не могут аннотировать несколько разметчиков (это не поддерживается). Благодаря использованию "segment size" можно создать несколько работ для одной задачи аннотирования. Это помогает распараллеливать процесс аннотирования данных.

Start frame

Кадр, с которого начинается видео в задаче.

Stop frame

Кадр, на котором завершается видео в задаче.

Frame Step

Эта опция используется для фильтрации кадров видео. Например, если ввести 25, то будет оставаться каждый двадцать пятый кадр или каждое двадцать пятое изображение.

Chunk size

Задаёт количество кадров, упаковываемых в блок (chunk) при отправке от клиента к серверу. Если оставить поле пустым, сервер задаёт значение автоматически.

Рекомендуемые значения для разных разрешений:

1.3 - Страница Jobs

На странице работ (jobs) пользователи (например, в должности worker) могут просматривать закреплённые за ними работы без наличия доступа к странице задач (task), а также отслеживать свой прогресс, сортировать и применять фильтры к списку работ.

На странице работ в виде плиток представлен список работ (каждая плитка - одна работа). Каждый элемент содержит следующую информацию:

• размер

• пользователь, за которым закреплена работа

В верхнем левом углу есть панель поиска, в которой можно искать по ответственному за работу, этапу, состоянию и т. п. В верхнем правом углу находятся сортировка, быстрые фильтры и фильтр.

Filter

Фильтр похож на фильтры для аннотации: можно создавать правила по properties (свойствам), operators (операторам) и значениям, группировать правила в группы. Подробнее см. здесь. Узнать больше о выборе даты и времени можно здесь.

Для сброса всех фильтров нужно нажать Clear filters.

Поддерживаемые списком работ свойства:

1.4 - Страница Tasks

Страница задач (task) содержит элементы, каждый из которых соответствует отдельной задаче. Задачи отсортированы в порядке создания. Каждый элемент содержит следующую информацию: название задачи, превью, полосу прогресса, кнопку Open и меню Actions. Каждая кнопка отвечает за отдельную функцию в меню Actions:

В верхнем левом углу есть панель поиска, в которой можно найти задачу по ответственному лицу, названию задачи и т. п. В верхнем правом углу находятся сортировка, быстрые фильтры и фильтр.

Filter

Фильтр работает аналогично фильтрам аннотирования, можно создавать правила по properties (свойствам), operators (операторам) и значениям, группировать правила в группы. Подробнее см. здесь. Узнать больше о выборе даты и времени можно здесь.

Для сброса всех фильтров нужно нажать Clear filters.

Поддерживаемые списком задач свойства:

Для перехода к подробному описанию задачи (task details) нажмите кнопку Open.

1.5 - Task details

Task details - это страница задачи, на которой содержится превью, полоса прогресса, подробное описание задачи (указываемое при создании задачи) и раздел с работами (jobs).

Можно выполнять фильтрацию или сортировку работ по статусу, ответственному лицу и проверяющему.

Чтобы начать процесс аннотирования, перейдите по ссылке внутри раздела Jobs. В некоторых случаях ссылок будет несколько. Это зависит от размера задачи, а также параметров Overlap Size и Segment Size. Для повышения удобства загружается только первый блок (chunk) из нескольких кадров и вы сможете начать разметку первых изображений. Другие кадры будут загружаться в фоновом режиме.

1.6 - Интерфейс инструмента аннотирования

Инструмент состоит из следующих элементов:

Всплывающие сообщения

Пользователь CVAT получает в правом верхнем любой страницы всплывающие сообщения. Всплывающие сообщения могут содержать полезную информацию, ссылки или сообщения об ошибках.

Информационное сообщение

Информационные сообщения сигнализируют о завершении процесса автоматического аннотирования. Подробнее об автоматическом аннотировании можно узнать здесь.

Всплывающие рекомендации

Открытие задачи

После создания задачи можно сразу же открыть её, нажав на Open task. Подробнее о создании задачи можно узнать здесь.

Продолжение работы с кадра, на котором пользователь закончил

При открытии работы, которую ранее выполнял пользователь, он получает всплывающее сообщение с предложением продолжить с кадра, который был открыт перед закрытием вкладки.

Сообщения об ошибках

При выполнении недопустимых действий пользователь может получить сообщение об ошибке. Сообщение может содержать информацию об ошибке или предложение открыть консоль браузера (горячая клавиша F12) для получения дополнительной информации. Если вы обнаружите баг, который не можете устранить сами, то можно создать issue в GitHub.

1.7 - Основы навигации

1. Используйте показанные ниже стрелки для перемещения к следующему/предыдущему кадру. Используйте ползунок полосы прокрутки для прокрутки кадров. Почти все кнопки имеют горячие клавиши. Чтобы получить подсказку о горячей клавише, наведите курсор мыши на элемент UI.

2. Для навигации по изображению используйте кнопку на боковой панели Controls. Также можно перемещать/сдвигать изображение, удерживая левую клавишу мыши в области без аннотированных объектов. При нажатии на колёсико мыши все аннотированные объекты игнорируются. В противном случае вместо самого изображения может переместиться выделенный ограничивающий прямоугольник.

3. Можно использовать кнопку на боковой панели Controls для увеличения нужной области. Воспользуйтесь кнопкой Fit the image для выравнивания изображения под размер рабочего пространства. Также можно использовать колёсико мыши для масштабирования изображения (зум изображения будет выполняться примерно под текущей позицией курсора).

1.8 - Top Panel

Элементы управления, расположенные в верхней панели инструмента аннотирования.

Кнопка Menu

Кнопка Menu

Это главное меню инструмента аннотирования. Его можно использовать для скачивания, загрузки и удаления аннотаций.

Функции кнопок:

• Upload Annotations — загружает аннотации в задачу.

• Export as a dataset — скачивает массив данных из задачи в одном из поддерживаемых форматов. Также можно ввести собственное название и установить флажок Save images, если нужно, чтобы массив данных содержал изображения.

• Remove Annotations — открывает окно подтверждения; при нажатии на Delete аннотация текущей работы будет удалена. При нажатии на Select range можно удалить аннотации из указанного интервала кадров. Если установить флажок Delete only keyframe for tracks, то в выбранном интервале из треков будут удалены только ключевые кадры.

• Open the task — открывает страницу с подробным описанием задачи.

• Change job state - изменяет состояние работы (new, in progress, rejected, completed).

• Finish the job / Renew the job - изменяет этап и состояние работы соответственно на acceptance и completed / annotation и new.

Save Work

Сохраняет аннотации для текущей работы. Кнопка имеет индикацию процесса сохранения.

Кнопки Undo и Redo

Кнопки для отмены и возврата действий.

Done

Используется для завершения создания объекта. Эта кнопка появляется только при создании проекта.

Block

Используется для приостановки автоматического создания линий при отрисовке многоугольника при помощи OpenCV Intelligent scissors. Также используется для откладывания запросов сервера при создании объекта с помощью AI Tools. Когда блокировка включена, кнопка становится синей.

Player

Переход к первому/последнему кадру.

Переход к следующему/предыдущему кадру с заданным шагом. Горячие клавиши: V — шаг назад, C — шаг вперёд. По умолчанию шаг составляет 10 кадров (это значение можно изменить в Account Menu —> Settings —> Player Step).

Кнопка перехода к следующему/предыдущему кадру имеет возможность настройки. Для настройки нажмите правой клавишей мыши на кнопку и выберите один из трёх вариантов:

1. Вариант по умолчанию - переход к следующему/предыдущему кадру (с шагом в 1 кадр).

2. Переход к следующему/предыдущему кадру, в котором есть объекты (в частности, отфильтрованные). Подробности использования см. в разделе о фильтре.

3. Переход к следующему/предыдущему кадру, в котором отсутствуют аннотации. Используйте эту опцию в случае необходимости быстрого поиска пропущенных кадров.

Горячие клавиши: D - предыдущий, F - следующий.

Воспроизведение последовательности кадров или набора изображений. Горячая клавиша: Space (можно изменить в Account Menu —> Settings —> Player Speed).

Переход к конкретному кадру. Для фокусировки на элементе нажмите ~.

Fullscreen Player

Режим полноэкранного плеера. Горячая клавиша - F11.

Info

Открывает информацию о работе.

Overview:

• Assignee - пользователь, за которым закреплена работа.

• Reviewer – пользователь, которому поручено выполнять проверку, подробнее см. в разделе о проверке.

• Start Frame - номер первого кадра в этой работе.

• End Frame - номер последнего кадра в этой работе.

• Frames - общее количество кадров в работе.

Annotations statistics:

В этой таблице перечислены созданные фигуры, отсортированные по меткам (например, vehicle, person) и типу аннотации (фигура, трек), а также количество обработанных вручную и интерполированных кадров.

UI switcher

Переключение между режимами интерфейса пользователя.

1.9 - Боковая панель Controls

Навигация

Блок навигации - содержит инструменты для перемещения и вращения изображений.

Cursor (Esc)- базовый инструмент редактирования аннотаций.

Move the image - инструмент перемещения изображения без возможности редактирования.

Rotate - две кнопки для поворота текущего кадра по часовой (Ctrl+R) и против часовой стрелки (Ctrl+Shift+R). В настройках можно включить Rotate all images, чтобы поворачивать все изображения в работе.

Зум

Блок Zoom - содержит инструменты для зума изображений.

Fit image - подстраивает размер изображения под размер рабочего пространства.Горячая клавиша - двойной щелчок по изображению.

Select a region of interest - зум выбранной области.Этот инструмент можно использовать для быстрого зума конкретной части кадра.

Shapes (Фигуры)

Блок Shapes - содержит все инструменты для создания фигур.

AI Tools (ссылка на раздел: AI Tools)

OpenCV (ссылка на раздел: OpenCV)

Rectangle (прямоугольник) (ссылка на раздел: Shape mode; Track mode; Drawing by 4 points)

Polygon (многоугольник) (ссылка на раздел: Annotation with polygons; Track mode with polygons)

Polyline (полилиния) (ссылка на раздел: Annotation with polylines)

Points (точки) (ссылка на раздел: Annotation with points)

Ellipses (эллипсы) (ссылка на раздел: Annotation with ellipses)

Cuboid (кубоид) (ссылка на раздел: Annotation with cuboids)

Tag (тэг) (ссылка на раздел: Annotation with tags)

Open an issue (открыть issue) (ссылка на раздел: Review, инструмент доступен только в режиме проверки)

Редактирование

Блок Edit - содержит инструменты для редактирования треков и фигур.

Merge Shapes (M) - включает/отключает режим слияния фигур (ссылка на разделы: Track mode (basics))

Group Shapes (G) - включает/отключает режим группировки фигур (ссылка на разделы: Shape grouping).

Split - разделяет трек (ссылки на раздел: Track mode (advanced))

1.10 - Боковая панель Objects

Сокрытие боковой панели Objects

Hide - кнопка, скрывающая боковую панель Objects.

Объекты

Поле ввода Filter

Подробное руководство по использованию фильтров представлено здесь.

Список объектов

• Switch lock property for all - переключает свойство "заблокирован" для всех объектов в кадре.

• Switch hidden property for all - переключает свойство "скрытый" для всех объектов в кадре.

• Expand/collapse all - сворачивает/разворачивает поле подробностей для всех объектов в кадре.

• Sorting - сортировка списка объектов: по времени обновления, ID по возрастанию, ID по убыванию.

В боковой панели Objects находится список доступных объектов для текущего кадра. Ниже показаны примеры, как может выглядеть список:

Shape mode (режим фигур):

Track mode (режим треков):

Тип фигуры можно изменить, выбрав свойство Label. Например, оно может выглядеть так:

Меню действий объекта

Меню действий вызывается кнопкой:

Меню действий содержит следующие пункты:

• Create object URL - помещает ссылку на объект в буфер обмена. После открытия ссылки этот объект будет отфильтрован.

• Make a copy - копирует объект. Горячие клавиши: Ctrl + C, Ctrl + V.

• Propagate - копирует форму нескольких кадров, вызывает диалоговое окно, в котором можно указать количество копий или кадр, в который вы хотите скопировать объект. Горячая клавиша: Ctrl + B.

• To background - перемещает объект на задний план. Горячие клавиши: - , _ .

• To foreground - перемещает объект на передний план. Горячие клавиши: + , = .

• Change instance color - выбор цвета при помощи палитры цветов (доступно только в instance mode).

• Remove - удаляет объект. Горячие клавиши: Del, Shift+Del.

Фигуру можно заблокировать, чтобы предотвратить её случайное изменение или перемещение. Горячая клавиша блокировки объекта: L.

Можно указать, что фигура перекрыта (Occluded) другой фигурой. Горячая клавиша: Q. Такие фигуры имеют пунктирные границы.

Можно менять отображение объекта в кадре (показать или скрыть).

Switch pinned property - при включении фигуру невозможно будет перетаскивать.

Tracker switcher - включение/отключение трекинга для объекта.

При нажатии на кнопку Details сворачивается или разворачивается поле со всеми атрибутами объекта.

Labels

В этой вкладке можно блокировать или скрывать объекты с определённой меткой. Для изменения цвета метки нужно перейти на страницу задач и выбрать цвет, нажав на кнопку редактирования; таким образом вы измените цвет метки для всех работ в задаче.

Быстрое изменение меток

Можно менять метку объекта при помощи горячих клавиш. Для этого необходимо назначить меткам цифру (от 0 до 9). По умолчанию цифры 1, 2…0 назначены первым десяти меткам. Для назначения цифры нажмите на кнопку справа от имени метки на боковой панели.

После этого вы сможете назначать объекту соответствующую метку, наведя на него курсор и нажав Ctrl + Num(0..9).

Если курсор не будет находиться над объектом, то при нажатии Ctrl + Num(0..9) выбранная метка будет использоваться по умолчанию, и следующему созданному (при помощи клавиши N) объекту будет автоматически назначена эта метка.

Внешний вид

Опции Color By

Изменяют цветовую схему аннотаций:

• Instance — каждая фигура будет иметь случайный цвет

• Group — каждая группа фигур будет иметь собственный случайный цвет, а несгруппированные фигуры будут белыми

• Label — каждая метка (например, car, person) будет иметь собственный случайный цвет

Можно изменить любой случайный цвет, указав на нужный прямоугольник в кадре или на боковой панели Objects.

Ползунок Fill Opacity

Меняет непрозрачность всех фигур в аннотации.

Ползунок Selected Fill Opacity

Меняет непрозрачность заливки выбранного объекта. Менять непрозрачность можно в случае прямоугольников, многоугольников и кубоидов.

Флажок Outlines borders

Можно изменять цвет границы отдельной фигуры, нажав на значок пипетки.

Флажок Show bitmap

При включении все фигуры отображаются белым цветом, а фон - чёрным.

Флажок Show projections

Включает/отключает отображение вспомогательных линий перспективы. Применяется только для кубоидов.

1.11 - Workspace

Это основное поле, в котором происходит отрисовка и редактирование объектов. В дополнение к рабочему пространству в нём есть следующие функции:

• При нажатии правой клавиши мыши на объекте вызывается Object card (карточка объекта) - элемент, содержащий все необходимые элементы управления для изменения метки и атрибутов объекта, а также меню действий.

• Нажатие правой клавиши мыши на точке удаляет её.

• Z-axis slider - позволяет переключать слои аннотации, скрывая верхние слои (ползунок включен, если в кадре есть несколько слоёв по оси z). Этот элемент имеет кнопку для добавления нового слоя. При нажатии на неё добавляется новый слой и выполняется переключение на него. Объекты между слоями можно перемещать клавишами + и - .

• Image settings panel - используется для настройки сетки и яркости, контрастности и насыщенности изображения.

Горячие клавиши:

Reset color settings - сбрасывает настройки цвета на значения по умолчанию

1.14 - Settings

Чтобы открыть настройки, откройте меню пользователя в заголовке и выберите пункт Settings или нажмите F2.

Меню настроек Settings состоит из двух вкладок:

Во вкладке Player доступны следующие действия:

Smooth image включено:

Smooth image отключено:

Во вкладке Workspace доступны следующие действия:

• Флажок Enable auto save — включение автоматического сохранения, по умолчанию выключено.

• Поле ввода Auto save interval (min) — интервал между автоматическими сохранениями в минутах, по умолчанию 15 минут.

• Флажок Show all interpolation tracks — показывает скрытые объекты на боковой панели для каждого интерполированного объекта (по умолчанию отключен).

• Always show object details - отображает текст объекта на холсте не только когда объект активирован:

• Content of a text - настройка для составления информации об объекте:

• Position of a text - выбор режима расположения текста:

• Font size of a text - задаёт размер текста информации об объектах.

• Automatic bordering - включает автоматические границы для многоугольников и полилиний во время отрисовки/редактирования. Подробнее см. в разделе про аннотирование при помощи многоугольников.

• Intelligent polygon cropping - активирует интеллектуальное обрезание при редактировании многоугольника (подробнее см. в разделе о редактировании многоугольника)

• Поле ввода Attribute annotation mode (AAM) zoom margin — задаёт границы (в пикселях) для фигуры в attribute annotation mode (режиме аннотирования атрибутов).

• Нажмите на Save для сохранения настроек (настройки будут сохранены на сервере и не изменятся после обновления страницы). Нажмите кнопку Cancel или клавишу F2 для возврата к аннотированию.

• Default number of points in polygon approximation - при помощи этой настройки можно выбирать количество точек в многоугольнике по умолчанию. Работает для бессерверных взаимодействий и OpenCV scissors.

1.15 - Types of shapes

Пользователь может аннотировать изображения различными типами фигур:

Вот как они выглядят:

Тег не имеет фигуры в рабочем пространстве, однако отображается в боковой панели Objects.

Примеры использования и основные операции, доступные при аннотировании в shape mode (режиме фигур).

Примеры использования:

1. Необходимо выбрать на боковой панели Controls кнопку Rectangle:

Прежде чем начинать разметку, выберите нужную метку (Label) (должна быть указана вами при создании задачи) и способ отрисовки (Drawing Method) (двумя или четырьмя точками):

2. Создание новой аннотации в Shape mode:

3. Можно просматривать Object card (карточку объекта) в боковой панели Objects или открыть её, нажав на объект правой клавишей мыши. Можно изменять атрибуты в разделе Details. Также можно выполнять основные операции или удалять объект, нажав на кнопку Action menu (меню действий).

4. На рисунке ниже показан пример полностью аннотированного кадра с несколькими фигурами.

Подробнее об этом можно прочитать в разделе Shape mode (advanced).

Примеры использования и основные операции, доступные при аннотировании в Track mode.

Примеры использования:

1. Как и в Shape mode, необходимо выбрать Rectangle в боковой панели, а в появившейся форме выбрать нужные Label (метку) и Drawing method (способ отрисовки).

2. Создание трека объекта (в качестве примера используем выбранный легковой автомобиль):

3. Когда аннотируемый объект пропадает или становится слишком маленьким, нужно завершить трекинг. Необходимо выбрать свойство Outside, горячая клавиша O.

4. Если объект невидим в паре кадров, а потом снова появляется, то можно использовать функцию Merge для объединения нескольких треков в один.

Готовая аннотированная последовательность кадров в Interpolation mode может выглядеть так:

Подробнее см. в разделе Track mode (advanced).

Примеры использования и основные операции, доступные в attribute annotation mode (режиме аннотирования атрибутов).

Чтобы просмотреть все горячие клавиши, доступные в режиме аннотирования атрибутов, нажмите клавишу F2. Подробнее см. в разделе Attribute annotation mode (advanced).

1.20 - Vocabulary

Перечень терминов, относящихся к аннотированию в CVAT.

Label (метка) - это тип аннотируемого объекта (например, person, car, vehicle и т. п.)

Attribute (атрибут) - это свойство аннотируемого объекта (например, color, model, quality и т. п.). Существует два типа атрибутов:

Unique (уникальный) тип неизменен и не может меняться от кадра к кадру (например, age, gender, color и т. п.)

Temporary (временный) тип изменяем и может изменяться в любом кадре (например, quality, pose, truncated и т. п.)

Track (трек) - это множество фигур на разных кадрах, соответствующее одному объекту. Треки создаются в Track mode

Annotation (аннотация) - это множество фигур и треков. Существуют различные типы аннотаций:

Approximation (аппроксимация) позволяет уменьшить количество точек в многоугольнике. Может использоваться для уменьшения размера файла аннотаций и упрощения редактирования многоугольников.

Трекинг объекта Trackable будет выполняться автоматически, если предыдущий кадр был последним ключевым кадром объекта. Подробнее в разделе Trackers.

Режим аннотирования видео, в котором используется трекинг объектов. Вручную аннотируются только объекты в ключевых кадрах, а промежуточные кадры подвергаются линейной интерполяции.

Связанные разделы:

Режим для аннотирования изображений, в котором используются объекты-фигуры.

Связанные разделы:

Состояние работы. Состояние может изменяться пользователем, за которым закреплена работа, в меню внутри работы. Существует несколько возможных состояний: new, in progress, rejected, completed.

Этап работы. Этап указывается в раскрывающемся списке на странице Tasks. Существует три этапа: annotation, validation и acceptance. Это значение влияет на полосу прогресса задачи.

Проект может иметь несколько subset (подмножеств). Подмножества - это группы для задач, которые упрощают работу с массивом данных. Подмножества разделяются на test, train, validation и custom.

Под credentials (учётными данными) подразумеваются Key (ключ) и secret key (секретный ключ), Account name (имя аккаунта) и token (токен), Anonymous access (анонимный доступ), Key file (файл ключа). Учётные данные используются подключения облачного хранилища.

Под resource (ресурсом) подразумевается bucket name (имя пакета) или container name (имя контейнера). Используется для подключения облачного хранилища.

Обзор страницы Cloud Storages.

На странице Cloud Storages содержатся элементы, каждый из которых относится к отдельному облачному хранилищу. Каждый элемент содержит: превью, название облачного хранилища, название поставщика сервиса, информацию о создании и обновлении, статус, кнопку ? для отображения описания и Actions menu (меню действий).

Каждая кнопка в меню действий отвечает за отдельную функцию:

Такое превью отображается, когда невозможно получить реальное превью (например, хранилище пустое или использованы неверные учётные данные).

В левом верхнем углу есть панель поиска, при помощи которой можно найти облачное хранилище по его имени, названию поставщика и т. п. В правом верхнем углу находятся сортировка, быстрые фильтры и фильтр.

2 - Advanced

В этом разделе содержатся дополнительные документы для пользователей CVAT

2.1 - Страница Projects

Создание и экспорт проектов в CVAT.

На этой странице можно создать новый проект, создать проект из резервной копии, а также просмотреть созданные проекты.

В левом верхнем углу есть панель поиска, при помощи которой можно найти проект по его имени, пользователю, за которым он закреплён, и т. п. В правом верхнем углу находятся сортировка, быстрые фильтры и фильтр.

Применение фильтра отключает быстрый фильтр.

Фильтр работает аналогично фильтрам для аннотаций, можно создавать правила по properties (свойствам), operators (операторам) и значениям, группировать правила в группы. Подробнее см. здесь. Узнать больше о выборе даты и времени можно здесь.

Для сброса всех фильтров нажмите на Clear filters.

Поддерживаемые списком проектов свойства

В CVAT можно создать проект, содержащий задачи одного типа. Все относящиеся к проекту задачи наследуют список меток.

Для создания проекта перейдите в раздел Projects, нажав на пункт Projects в верхнем меню. На странице Projects можно просмотреть список проектов, воспользоваться поиском или создать новый проект, нажав на кнопку + и выбрав Create New Project.

Стоит заметить, что проект будет создан в организации, которую выбрал пользователь во время создания. Подробнее об организациях можно прочитать здесь.

Можно изменять имя проекта, список меток (который будет использоваться для задач, созданных в рамках этого проекта) и ссылку на issue. Подробнее о создании списка ссылок см. здесь.

После создания проект появится на странице Projects. Чтобы открыть проект, нажмите на него мышью.

Здесь доступны следующие действия:

1. Изменение имени проекта.

2. Открытие Actions menu (меню действий). Каждая кнопка отвечает за отдельную функцию Actions menu:

3. Изменение issue tracker или открытие issue tracker, если он указан.

4. Изменение меток. Можно добавлять новые метки или добавлять атрибуты к имеющимся меткам в Raw mode или в Constructor mode. Также можно изменять цвет меток. Нажав на Copy, можно скопировать метки в буфер обмена.

5. Assigned to — используется для передачи проекта пользователю. Начните вводить имя ответственного пользователя и/или выберите нужного человека из раскрывающегося списка.

6. Tasks — список всех задач конкретного проекта с возможностью поиска, сортировки и фильтрации задач в проекте. Подробнее о поиске можно прочитать здесь. Подробнее о сортировке и фильтрации можно прочитать здесь. Можно выбрать подмножество для задач в проекте. Можно использовать имеющиеся варианты (Train, Test, Validation) или указать собственные.

2.2 - Organization

В Personal workspace (личном рабочем пространстве) пользователя отображаются созданные им задачи и проекты.

Для создания организации откройте меню пользователя, перейдите к пункту Organization и нажмите на Create.

Заполните необходимую для создания организации информацию. Нужно ввести Short name (краткое название) организации, которое будет отображаться в меню. Также необходимо заполнить другие поля: Full Name (полное название), Description (описание) и контактную информацию. Они будут видны на странице параметров организации.

Для перехода на страницу Organization откройте меню пользователя, перейдите к пункту Organization и нажмите на Settings.

Для добавления участников нажмите на Invite members. В открывшемся окне введите адрес электронной почты пользователя, которого вы хотите добавить, и выберите его Role (должность) (должность определяет набор правил):

В дополнение к должностям существуют группы пользователей, настройка конфигураций которых выполняется на странице Admin. Подробнее о должностях можно прочитать в разделе IAM system roles.

После добавления участников они появятся на странице параметров организации. В списке будет указан каждый участник и информация о подробностях приглашения. В любой момент вы можете изменить должность участника или удалить участника.

Участник может покинуть организацию самостоятельно, нажав на Leave organization на странице параметров организации.

Созданную вами организацию можно удалить. При удалении организации будут удалены все связанные с ней ресурсы (аннотации, работы, задачи, проекты, облачные хранилища и т. д.). Для удаления организации нужно нажать на Remove organization, после чего нужно будет подтвердить удаление вводом краткого названия организации.

2.3 - Search

Обзор имеющихся вариантов поиска.

Существует множество различных способов применения поиска.

• Поиск по всем полям (owner, assignee, task name, task status, task mode). Для выполнения поиска введите строку поиска в поле поиска.

• Поиск по конкретным полям:

• Множественные фильтры. Фильтры можно комбинировать (за исключением идентификатора) при помощи ключевого слова AND:

Поиск выполняется без учёта регистра.

2.4 - Shape mode (advanced)

Расширенные операции, доступные при аннотировании в режиме Shape mode.

Основные операции в этом режиме были описаны в разделе Shape mode (basics).

Occluded (перекрытие) - это атрибут, используемый, если объект перекрыт другим объектом или виден в кадре не полностью. Для быстрого указания этого свойства используйте горячую клавишу Q .

Пример: три автомобиля на показанном ниже рисунке должны быть размечены как occluded.

Если в кадре есть слишком много объектов и их сложно аннотировать из-за того, что множество фигур расположено приблизительно в одном месте, то логично будет заблокировать их. Фигуры заблокированных объектов становятся прозрачными, благодаря чему новые объекты аннотировать проще. Кроме того, вы не сможете случайно изменить ранее аннотированные объекты. Горячая клавиша: L .

2.5 - Track mode (advanced)

Расширенные операции, доступные в процессе аннотирования в режиме Track mode.

Основные операции этого режима описаны в разделе Track mode (basics).

Созданные в Track mode (режиме треков) фигуры имеют дополнительные кнопки навигации.

Можно использовать функцию Split для разбиения одного трека на два:

2.7 - Attribute annotation mode (advanced)

Расширенные операции, доступные в режиме аннотирования атрибутов.

Основные операции этого режима описаны в разделе Attribute annotation mode (basics).

В этом режиме можно обрабатывать множество объектов на одном кадре.

Удобнее аннотировать объекты одинакового типа. В таком случае можно применить соответствующий фильтр. Например, следующий фильтр скроет все объекты, кроме person: label=="Person".

Для навигации между объектами (в данном случае person) можно использовать следующие кнопки специальной панели, выполняющие переключение между объектами в кадре:

или горячие клавиши:

Для изменения уровня зума перейдите в параметры (нажав F3) во вкладке Workspace и задайте в пикселях значение Attribute annotation mode (AAM) zoom margin.

2.8 - Аннотирование прямоугольниками

Подробная информация об аннотировании при помощи прямоугольников находится в следующих разделах:

Для поворота прямоугольника можно потянуть за точку поворота. Поворот выполняется относительно центра прямоугольника. Для вращения с фиксированным углом (кратным 15 градусам) удерживайте Shift. В процессе поворота отображается угол поворота.

Это эффективный способ аннотирования ограничивающими прямоугольниками, предложенный здесь. Перед тем как приступать к аннотированию убедитесь, что выбран способ отрисовки By 4 Points.

Нажмите Shape или Track для перехода в режим рисования. Нажмите на четыре крайние точки: самую верхнюю, нижнюю, левую и правую физические точки объекта. Рисование будет автоматически завершено сразу после нажатия на четвёртую точку. Для отмены редактирования нажмите на Esc .

2.9 - Аннотирование многоугольниками

Руководство по созданию и редактированию многоугольников.

2.9.1 - Отрисовка вручную

Используется для семантической сегментации/сегментации экземпляров.

Для начала необходимо выбрать Polygon (многоугольник) в боковой панели управления и подобрать нужную Label (метку).

Рисование щелчками мыши

Рисование удерживанием Shift + перемещением курсора