Чтобы система стала самообучаемой, возможно, она должна обладать нечто похожим на сознание - чтобы у машины было своё "мнение". А это возможно, когда у неё появится наличие вкуса - что-то есть хорошо, а что-то - не очень. И на основании этого - ИИ сможет сравнивать и усовершенствовать себя.
Но есть обратная сторона: если машина научится сравнивать, то под объект её наблюдения и сравнения попадёт и человек и всего его действия.