Machine learning
NewTechAudit
141

Как с помощью ПО PictureYandexGraber создать датасет изображений искомого объекта?

Для каждого из нас распознавать какие-либо объекты – естественная и привычная возможность организма. При этом для компьютера, пока что, – это не так-то и просто. Последние несколько лет человечество регулярно предпринимает попытки научить компьютер распознавать хотя бы часть того, что может видеть человек.

В закладки

Чаще всего мы встречаемся с компьютерным зрением на кассах в магазине. Я сейчас о процессе считывания штрих кодов. Эти непонятные для обычного человека «полоски» были разработаны специально, чтобы упростить компьютеру процесс распознавания. Но для компьютерного зрения есть и более сложные задачи: поиск дефектов на производстве, исследование медицинских снимков, распознавание номеров автомобилей, распознавание лиц и т.д.

Недавно в своей деятельности мы столкнулись с задачей идентифицировать среди объявлений на торговых площадках Рунета те, где продаются уникальное оборудование и материальные ценности, определенного вида. Во избежание огромных трудозатрат большого количества специалистов мы решили использовать технические ресурсы, а именно, ту самую технологию Computer Vision.

Для начала компьютер необходимо обучить распознавать среди всех фото в объявлениях на сайте именно те, которые нам необходимы. Для этого необходимо создать обучающий датасет и разметить его (показать где именно на изображении находится искомый объект). Для задачи классификации в обучающем датасете необходимо использовать как можно больше различных изображений искомого объекта. Для себя мы определились, что нам необходимо ~1000 изображений каждого искомого объекта.

Вот тут-то и пришло осознание того, что для создания данной обучающей выборки потратится неприемлемое количество времени и сил (ведь мало того, что необходимо много фото с разных ракурсов, данные фотографии должны быть разного качества, с разным освещением, балансом белого и другими изменяемыми параметрами изображения). На данном этапе мы решили разделиться: часть команды отправилась проявлять свои навыки фотографов, а вторая часть ушла думать и гуглить то, как можно автоматизировать данную задачу.

Идея появилась практически сразу же – парсить картинки из результатов поиска в сервисе Яндекс.Картинки. Готовое средство автоматизации также нашлось достаточно быстро: бесплатное ПО PictureYandexGraber.

Спустя некоторое количество времени был сформирован отличный датасет, а результат разделения труда дал нам возможность исследовать новый для нас инструмент диджитализации. Датасет сформированный автоматизированным методом отличается:

  • разнообразием изображений;
  • скоростью формирования (в 50 раз быстрее механического способа).

Но, к сожалению, нельзя не отметить и минусы данной программы. А точнее один МИНУС: Capcha от Яндекс. В нашем случае решение данной проблемы было достаточно примитивным – смена IP адреса физически (меняли источник интернета). По причине относительно небольшого объема выгружаемых изображений capcha сильно нам не надоедала. Но в целом функционалом программы предусмотрена возможность использовать proxy, поэтому если есть необходимость парсить большое количество изображений с Яндекс.Картинки проблему можно решить используя данный инструмент.

Кроме того, функционалом программы PictureYandexGraber предусмотрено:

  • поиск изображений по заданным параметрам: размер, ориентация, тип;
  • сохранение url’ов изображений в отдельный файл;
  • сохранение изображений в 10 потоков;
  • выбор размера сохраняемого изображения:оригинальны; по вашему размеру (width и height; по одному из параметров (указывается width/height, а второй параметр высчитывается пропорционально оригинальному размеру).

В целом, программа нам понравилась, и мы её взяли на вооружение. Да, кстати, для корректной работы программы Вам необходимо установить net framework не ниже 4.0(если вдруг его нет на вашем компьютере).

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "NewTechAudit", "author_type": "editor", "tags": [], "comments": 0, "likes": 2, "favorites": 1, "is_advertisement": false, "subsite_label": "ml", "id": 114018, "is_wide": true, "is_ugc": false, "date": "Fri, 20 Mar 2020 21:22:54 +0300", "is_special": false }
Создать объявление на vc.ru
Дизайн
Adobe прекращает поддержку Muse CC. Ближайший аналог — Nicepage
Adobe Systems 26 марта 2020 года прекращает техническую поддержку Muse CC, сам проект закрыт еще в 2018. Muse CC — это…
0
Комментариев нет
Популярные
По порядку

Прямой эфир