Selectel

Инструкция: Создание нейронной сети без навыков программирования

Рассказываем, как за несколько шагов создать простую нейронную сеть и научить её узнавать известных предпринимателей на фотографиях.

Шаг 0. Разбираемся, как устроены нейронные сети

Проще всего разобраться с принципами работы нейронных сетей можно на примере Teachable Machine — образовательного проекта Google.

В качестве входящих данных — то, что нужно обработать нейронной сети — в Teachable Machine используется изображение с камеры ноутбука. В качестве выходных данных — то, что должна сделать нейросеть после обработки входящих данных — можно использовать гифку или звук.

Например, можно научить Teachable Machine при поднятой вверх ладони говорить «Hi». При поднятом вверх большом пальце — «Cool», а при удивленном лице с открытым ртом — «Wow».

Для начала нужно обучить нейросеть. Для этого поднимаем ладонь и нажимаем на кнопку «Train Green» — сервис делает несколько десятков снимков, чтобы найти на изображениях закономерность. Набор таких снимков принято называть «датасетом».

Теперь остается выбрать действие, которое нужно вызывать при распознании образа — произнести фразу, показать GIF или проиграть звук. Аналогично обучаем нейронную сеть распознавать удивленное лицо и большой палец.

Как только нейросеть обучена, её можно использовать. Teachable Machine показывает коэффициент «уверенности» — насколько система «уверена», что ей показывают один из навыков.

Кроткое видео о работе Teachable Machine

Шаг 1. Готовим компьютер к работе с нейронной сетью

Теперь сделаем свою нейронную сеть, которая при отправке изображения будет сообщать о том, что изображено на картинке. Сначала научим нейронную сеть распознавать цветы на картинке: ромашку, подсолнух, одуванчик, тюльпан или розу.

Для создания собственной нейронной сети понадобится Python — один из наиболее минималистичных и распространенных языков программирования, и TensorFlow — открытая библиотека Google для создания и тренировки нейронных сетей.

Устанавливаем Python

Если у вас Windows: скачиваем установщик с официального сайта Python и запускаем его. При установке нужно поставить галочку «Add Python to PATH».

На macOS Python можно установить сразу через Terminal:

brew install python

Для работы с нейронной сетью подойдет Python 2.7 или более старшая версия.

Устанавливаем виртуальное окружение

Открываем командную строку на Windows или Terminal на macOS и последовательно вводим несколько команд:

pip install --upgrade virtualenv
virtualenv --system-site-packages Название
source Название/bin/activate

На компьютер будет установлен инструмент для запуска программ в виртуальном окружении. Он позволит устанавливать и запускать все библиотеки и приложения внутри одной папки — в команде она обозначена как «Название».

Устанавливаем TensorFlow

Вводим команду:

pip install tensorflow

Всё, библиотека TensorFlow установлена в выбранную папку. На macOS она находится по адресу Macintosh HD/Users/Имя_пользователя/, на Windows — в корне C://.

Можно проверить работоспособность библиотеки последовательно вводя команды:

python
import tensorflow as tf
hello = tf.constant('Hello, TensorFlow')
sess = tf.Session()
print(sess.run(hello))

Если установка прошла успешно, то на экране появится фраза «Hello, Tensorflow».

Шаг 2. Добавляем классификатор

Классификатор — это инструмент, который позволяет методам машинного обучения понимать, к чему относится неизвестный объект. Например, классификатор поможет понять, где на картинке растение, и что это за цветок.

Открываем страницу «Tensorflow for poets» на Github, нажимаем на кнопку «Clone or download» и скачиваем классификатор в формате ZIP-файла.

Затем распаковываем архив в созданную на втором шаге папку.

Шаг 3. Добавляем набор данных

Набор данных нужен для обучения нейронной сети. Это входные данные, на основе которых нейронная сеть научится понимать, какой цветок расположен на картинке.

Сначала скачиваем набор данных (датасет) Google с цветами. В нашем примере — это набор небольших фотографий, отсортированный по папкам с их названиями.

Содержимое архива нужно распаковать в папку /tf_files классификатора.

Шаг 4. Переобучаем модель

Теперь нужно запустить обучение нейронной сети, чтобы она проанализировала картинки из датасета и поняла при помощи классификатора, как и какой тип цветка выглядит.

Переходим в папку с классификатором

Открываем командную строку и вводим команду, чтобы перейти в папку с классификатором.

Windows:

cd C://Название/

macOS:

cd Название

Запускаем процесс обучения

python scripts/retrain.py --output_graph=tf_files/retrained_graph.pb --output_labels=tf_files/retrained_labels.txt --image_dir=tf_files/flower_photos

Что указано в команде:

  • retrain.py — название Python-скрипта, который отвечает за запуск процесса обучения нейронной сети.
  • output_graph — создаёт новый файл с графом данных. Он и будет использоваться для определения того, что находится на картинке.
  • output_labels — создание нового файла с метками. В нашем примере это ромашки, подсолнухи, одуванчики, тюльпаны или розы.
  • image_dir — путь к папке, в которой находятся изображения с цветами.

Программа начнет создавать текстовые файлы bottleneck — это специальные текстовые файлы с компактной информацией об изображении. Они помогают классификатору быстрее определять подходящую картинку.

Весь ход обучения занимает около 4000 шагов. Время работы может занять несколько десятков минут — в зависимости от мощности процессора.

После завершения анализа нейросеть сможет распознавать на любой картинке ромашки, подсолнухи, одуванчики, тюльпаны и розы.

Перед тестированием нейросети нужно открыть файл label_image.py, находящийся в папке scripts в любом текстовом редакторе и заменить значения в строках:

input_height = 299
input_width = 299
input_mean = 0
input_std = 255
input_layer = "Mul"

Шаг 5. Тестирование

Выберите любое изображение цветка, которое нужно проанализировать, и поместите его в папку с нейронной сетью. Назовите файл image.jpg.

Для запуска анализа нужно ввести команду:

python scripts/label_image.py --image image.jpg

Нейросеть проверит картинку на соответствие одному из лейблов и выдаст результат.

Например:

Это значит, что с вероятностью 72% на картинке изображена роза.

Шаг 6. Учим нейронную сеть распознавать предпринимателей

Теперь можно расширить возможности нейронной сети — научить её распознавать на картинке не только цветы, но и известных предпринимателей. Например, Элона Маска и Марка Цукерберга.

Для этого нужно добавить новые изображения в датасет и переобучить нейросеть.

Собираем собственный датасет

Для создания датасета с фотографиями предпринимателей можно воспользоваться поиском по картинкам Google и расширением для Chrome, которое сохраняет все картинки на странице.

Папку с изображениями Элона Маска нужно поместить в \tf_files\flower_photos\musk\. Аналогично все изображения с основателем Facebook — в папку \tf_files\flower_photos\zuckerberg\.

Чем больше фотографий будет в папках, тем точнее нейронная сеть распознает на ней предпринимателя.

Переобучаем и проверяем

Для переобучения и запуска нейронной сети используем те же команды, что и в шагах 4 и 5.

python scripts/retrain.py --output_graph=tf_files/retrained_graph.pb --output_labels=tf_files/retrained_labels.txt --image_dir=tf_files/flower_photos

python scripts/label_image.py --image image.jpg

Шаг 7. «Разгоняем» нейронную сеть

Чтобы процесс обучения не занимал каждый раз много времени, нейросеть лучше всего запускать на сервере с GPU — он спроектирован специально для таких задач.

Процесс запуска и обучения нейронной сети на сервере похож на аналогичный процесс на компьютере.

Создание сервера с Ubuntu

Нам понадобится сервер с операционной системой Ubuntu. Её можно установить самостоятельно, либо — если арендован сервер Selectel — через техподдержку компании.

Установка Python

sudo apt-get install python3-pip python3-dev

Установка TensorFlow

pip3 install tensorflow-gpu

Скачиваем классификатор и набор данных

Аналогично шагам 2 и 3 на компьютере, только архивы необходимо загрузить сразу на сервер.

Переобучаем модель

python3 scripts/retrain.py --output_graph=tf_files/retrained_graph.pb --output_labels=tf_files/retrained_labels.txt --image_dir=tf_files/flower_photos

Тестируем нейросеть

python scripts/label_image.py --image image.jpg
0
59 комментариев
Написать комментарий...
Markus Kartavyi

как "информативно". главное хорошо сайт прорекламировал:)

Ответить
Развернуть ветку
Юрин Иван

Заголовок статьи — ...Создание нейронной сети без навыков программирования
По тексту — устанавливаем Python...
:))

Ответить
Развернуть ветку
Илья Улетаев

Python это не язык программирования )))

Ответить
Развернуть ветку
3 комментария
Maxim Ataev

Типа поставил питон — научился программировать? =)

Ответить
Развернуть ветку
Michael Sapogov

А еще и устанавливаем его с помощью brew, который тоже бы надо сначала поставить на macOS )

Ответить
Развернуть ветку
Настя Каргаполова

Ничоси показали туториал. Освой программирование за 10 минут с vc.ru!

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Организационный звук

Сделайте нейронку, чтобы на основе коммента на vc можно было определить принадлежность человека к определенной группе.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
28 комментариев
Андрей Владимиров

Ну так выше же инструкция. Покупаете недорого сервер (Selectel, да-да!) и запиливаете собственную нейросеть с блекджеком и шлюхами.

Ответить
Развернуть ветку
4 комментария
Alexander Petrov
Ответить
Развернуть ветку
Данил Василевский

Берёте самку репродуктивного возраста, оплодотворяете её. Через 9 месяцев появится нейронная сеть способная к обучению и развитию. И никаких навыков программирования не надо!

Ответить
Развернуть ветку
Maxim Syabro

Уточню: самку человека, если оплодотворяете сами.

Ответить
Развернуть ветку
Роман Романов

Сама самка не подходит?

Ответить
Развернуть ветку
Камаз Узбеков

Переобучение означает немного другое. Для тф на гпу не указаны зависимости и процедура установки драйвера.

Ответить
Развернуть ветку
Denis Brykov

Зато есть кнопочка "Заказать" :)

Ответить
Развернуть ветку
borodutch

А если кому интересно, как рили работают нейронки изнутри, то я написал статью "Нейронки за 5 минут" — даже самые заядлые гуманитарии поймут основные принципы: http://telegra.ph/Nejronki-za-5-minut-01-19 (сорямба за линк и сорямба за телеграф).

Ответить
Развернуть ветку
Helge Totenkopf

Не открывает(

Ответить
Развернуть ветку
2 комментария
Евгений Пешков

5 минут - непозволительная роскошь. нужно что-то более менее

Ответить
Развернуть ветку
Denis Veselov

А я всем интересующимся посоветую книгу "Создаем нейронную сеть" автор Т.Рашид. Прямо по-школьному просто и при этом достаточно интересно и правильно объясняется как работают нейронные сети изнутри (мат.аппарат), причем с примерами и кодом (не очень хорошим, но доходчивым).

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Superstartuper

Офф к редакции: обратите внимание на качество поиска на сайте. Эту статью найти через него непросто. Искал по запросу "нейросеть". Так постоянно - поиск очень странный, ни разу через него не находил конкретные статьи. Обычно ожидаешь, что сначала выдаются более свежие материалы по слову. Выхожу в Я-кс и уже с него захожу на конкретный искомый материал.

Ответить
Развернуть ветку
Виталий Морозов

Найти хорошее (не воду) сложновато ;)

Ответить
Развернуть ветку
Ренат Абясов

Ожидал построение через какой-нибудь визуальный конструктор, а-ля Asure ML Studio.

Ответить
Развернуть ветку
Антон Антонов

А если надо анализировать и распознавать не картинки, а какую-то кастомную информацию?

Ответить
Развернуть ветку
Виталий Морозов

Парсинг с "Мозгами"

Ответить
Развернуть ветку
Ivan Titov

""source" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом."

вот такую ошибку выдает(

Ответить
Развернуть ветку
Ivan Titov

если у кого-то на windows 10 не ставится tensorflow

python3 -m pip install --upgrade https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.12.0-py3-none-any.whl

вот этим адресом всё работает.

Ответить
Развернуть ветку
Mark Prohorov

Ребят подскажите пожалуйста как можно практически использовать tf 4 poets? Я только начинаю разбираться как в программировании, так и в МЛ. Поставил всё это счастье на raspberry pi2 поставил туда apache, php, mysql по стандартам, для создания веб-приложений. В консоли всё работает. Как мне теперь закинуть фото и используя классификатор распознать что это за растение и выдать на сайте?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Ваня Новиков

нужно создать нейронную сеть которая по фото будет определять степень отработки моторного масла

Ответить
Развернуть ветку
Вадим Чернобровкин

Если самим нет времени заниматься наша команда сможет создать нейросеть любой сложности ООО "нейронные Технологии"

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
GamePlay Arcade

А тебе обещали?

Ответить
Развернуть ветку
1 комментарий
Читать все 59 комментариев
null