По аналогии с развитием любых сложных и потенциально опасных систем - полагаю, должны быть единые правила, хотя бы рамочные стандарты, тесты на правомерность и безопасность и точки контроля для всего с ИИ. В идеале - тоже автоматизированные, но подконтрольные человеку, то есть с той самой ручной кнопкой для остановки. И - страховки для случайно пострадавших от эксцессов.
Ну, и конечно, нужно серьезно вкладываться в системы отслеживания экспериментов с ИИ, кибербезопасность - чтобы какой- нибудь малолетний гений с домашнего компа, который и знать не знал про тесты и ограничения, не выпустил какого-нибудь киберджина из ИИ - бутылки. При этом безопасность, как водится, не должна превратиться в "большого брата" и заборы, быть тоже умной.
Хорошая аналогия с демократическим государством - нужна система сдержек и противовесов.