Нейросети и мозг мухи: как технологии меняют игры и эмоции
В твиттере новая мания - нейросети по схеме мозга настоящей мухи. За последние несколько дней я видел десяток демо, где мозг настоящей мухи заставляют играть в DOOM и сочинять музыку. В основе - коннектом MaleCNS - карта связей между более чем 166 тысячами нейронов мозга и нервной цепочки дрозофилы, примерно 125 миллионов синапсов, которую восстановили по снимкам электронного микроскопа.
Разработчики копируют всю карту или отдельный фрагмент в программу, добавляют упрощённые правила работы нейронов. Картинку, звук или события игры превращают во входные сигналы, а активность сети - в команды персонажу или результат распознавания.
Например:
- Minecraft - сеть подключили к виртуальной мухе: она реагирует на еду, свет и игрока через запрограммированные движения.
- Doom - кадры игры поступают в модель, активность нейронов управляет движением и стрельбой. Обучение играть пока не доказано.
- Super Mario 64 - нейросеть управляет Марио. Может прыгать и упираться в стену, но проходить уровни её не научили.
- Эмоции - на фрагменте из 499 нейронов сделали распознавание эмоциональной окраски голоса. Не добавили мухе чувства, а обучили выходной слой читать ответы сети.
Beat Saber - показали муху со световыми мечами. Пока это воспроизведение выученной последовательности движений, не самостоятельная игра.
В общем аплоад сознания в симуляцию начался. Но с мух.