Ох надо же, кто-то реализует такое.
Была у меня идея в далёком 2013, сделать книгу интерактивной с помощью eye-трекинга:
1. Параллаксные иллюстрации, которые менялись когда взгляд дойдёт до определенного "чекпоинта" в тексте.
2. Многополосная музыкальная тема под каждый эпизод, которая "насыщалась" звуками во время кульминации в сюжете и тд.
3. Появление текста после прочтения предыдущего, для нонстоп чтения, без скролла и перелистывания.

Столкнулся с несколькими проблемами и потух:
Написав ПО, не было бы контентного наполнения нужного формата. Нужно было либо переписывать какую-либо книгу на новый лад, либо писать с нуля. Отсюда вытекает SDK для авторов, композиторов и художников. С которым тоже вылезло много заморочек.
Сам eye-трекер, который вроде до сих пор остаётся периферийным устройством, который пользователю пришлось бы покупать отдельно, что весьма непривлекательно.
Ну и куча всего еще, долго расписывать.

Вобщем удачи ребятам, хотелось бы посмотреть на их продукт спустя время, весьма интересная затея.

Ммм слушать музыку с телефона? =/

интересно!

Мило. Было бы интересной фичей на Литресе, к примеру.

Тоже обдумывал подобный стартап, однако все проще:
- произведения анализируются вручную и в кульминационных местах проставляются теги настроения музыки (формат тегов - что-то типа формата субтитров видео)
- основное настроение произведения задается общими тегами
- КОНТЕНТ берется из протегированной библиотеки (которая, например есть у нас - ЗВУКОБАЗА)

Проблемы:
- сбалансированный набор тегов к тому множеству книг, которое обрабатывается, формально фантастике подходят одни общие теги, приключениям другие, романтике - третьи
- адекватный анализ книг и набор этих книг (договоренность с издательствами, заинтересованность)
- монетизация (при постоянных затратах на тегирование книг)

"Многополосные" (многослойные) произведения (это как в играх серии CS:GO, когда музыка изменет напряженность в зависимости от состояния игры) - это уже некоторое будущее, когда будет существовать такая база контента, сейчас реально пара компаний такое делает и то в узких нишах музыки. НО! все это реально формализовать и начать делать. Здесь нужны инвестиции в производство контента. Если что, мы (ЗВУКОБАЗА) - могем. :)

Всегда о таком мечтал! Но почему Андройд?(((