Сингулярность для человечества будет выглядеть так же как для бактерий в чашке Петри выглядит лаборатория и лаборанты.

То есть мы НИЧЕГО не будем понимать. Настоящий ИИ, основанный на спайковых нейросетях и каком-то новом hardware,  взломает вообще всё. Весь Интернет, все пароли, HTTPS, банковские карточки и т.д. работают только потому что их долго взламывать. У нас нет такой крутой математики, а для ИИ это будет как 2+2. Плюс куча багов которые есть уже сейчас, вспомните хотя бы недавние уязвимости Meltdown и Spectre, которым подвержены почти  все процессоры.

И программисты которые будут его создавать тоже ничего не поймут. Для них обучение такого ИИ будет выглядеть как запуск какого-то эволюционного процесса. И запереть его в каком-нибудь chroot или аппаратно будет невозможно.