Все боты, которые генерируют какое-то медиа (текст, изображения.. и т.д.), могут, запросто, использоваться для "джинсы" (для тех, кто не в курсе – чек). Вот представь, ты бизнес, который знает о таком инструменте, который огромное кол-во людей использует просто "по фану" и не только.
Туда же можно и встроить любой алгоритм, который тебе "между строк" закинет мысль, о каком-то бренде. А ты даже не придашь этому значения. Золотая жила! А добавим еще к этому, что она на то и нейросеть, что может учиться и конкретно тебе – продаст, что угодно, под соусом "компиляции инфы из гугла". И вот, ты уже "покупаешь, то что тебе нужно", точнее, тебе будет казаться, что это выбрал ты сам. И это, достаточно, поверхностное рассуждение.
Отвечая на твой вопрос: "да что ты такое говоришь! Там же открытый исходный код. Такого не будет никогда, нейросеть вообще не про это" и т.д. Просто скажу – учи историю. Например, как появился интернет, кажется в период 60х-70х годов. Цели тоже, были не те (точнее те, но в не в том контексте), для которых он используется сейчас. Дай время настояться, всему свое время.
Однако, как по мне, это не самая страшная проблема нейронок, есть еще опаснее.
"В стакане есть вода"