Нейронная сеть дня: карта внимания пользователей для дизайнеров

Почему крупные корпорации должны разработать алгоритм для веб-дизайнеров.

Давно хожу с мыслью, что компания вроде «Яндекса» просто обязана разработать алгоритм для веб-дизайнеров и облегчения их нелегкого труда. У компании есть гигабайты данных о пользователях: об их восприятии контента, о том, как человек буквально водит мышкой по экрану (Upd. тут я имел ввиду, что аналитика знает, что именно находится на экране, то есть алгоритмы которые существуют сейчас могут отличить кнопку от текста, и сделать определенные выводы, не обязательно следить куда пользователь мышкой повел, чтобы сделать вывод).

Представьте, что у вас есть аналитика миллиона сайтов, вы знаете, где какая категория сайта (магазин, СМИ, сервис и тому подобное), какие сценарии эти сайты покрывают, какие пути проделывают пользователи для достижения результата, с какими сложностями пользователь сталкивается. Всех этих данных должно хватить, чтобы алгоритм смог подсказать, как лучше расположить кнопки, сверстать текст и какие цвета подходят в это время года. В общем, найти «философский камень» среди UX/UI.

На Product Hunt я видел громкие заявления от проектов, которые пытаются разработать подобный сервис, но я в них не очень верю, так как в алгоритмах машинного обучения в нынешнем виде очень важны данные — датасет. Получить эти данные непросто: никто ими не делится, я об этом уже как-то писал у себя на канале в Telegram.

И вот в Массачусетском технологическом институте нашелся такой датасет, и пару месяцев назад исследователи опубликовали демоверсию, где вы можете загрузить изображение, а алгоритм попробует угадать, как будет распределяться внимание пользователей. На выходе вы получаете тепловую карту внимания, выглядит довольно интересно.

Ниже пара примеров от меня.

Нейронная сеть дня: карта внимания пользователей для дизайнеров
Нейронная сеть дня: карта внимания пользователей для дизайнеров
Нейронная сеть дня: карта внимания пользователей для дизайнеров
Нейронная сеть дня: карта внимания пользователей для дизайнеров

Исходный код доступен по ссылке.

1212
48 комментариев

Кажется, что-то пошло не так.

11

Внимание надо отслеживать по направлению взгляда.
Положение и динамика мыши - вообще не о том.

9

Ну, скажем так, данные о направлении взгляда можно вшить в датасет — но можно учитывать и то и то, это так, нет проблем с этим

Гипотеза о корреляции между положением мыши и направлением взгляда рождает в воображении картинку чтения книг маленькими детьми, малограмотными людьми и людьми с теми или иными расстройствами зрительного восприятия, которые ведут пальцем у точки чтения. К поведению обычного человека, привыкшего глядеть на экран, эта корреляция имеет весьма условное отношение (если только вам не интересно именно поведение на сайте детей и малограмотной публики).

6

"К поведению обычного человека, привыкшего глядеть на экран, эта корреляция имеет весьма условное отношение" и какие же условия могут быть, если человек взрослый и насколько малограмотен может быть взрослый? А если у человека зрение не идеальное и если дизайн сайта такой, что без "вождения пальцем" посетитель просто потеряется?

1

Я могу дописать после этого этого пункта "условно" — но я имел ввиду, что аналитика знает что именно находится на экране, то несть алгоритмы которые есть сейчас могут отличить кнопку от текста, и сделать определенные выводы

Протестировал и, к сожалению, предположение подтвердилось.
Открыл товар в интернет-магазине, но для анализа взял скриншот всего браузера вместе с... яндекс.советником.

Ну вы уже поняли. Всё внимание на себя забрал советник, который в яндекс.браузере не отключается даже соответствующими скриптами на стороне сайта.

2