Неgensim

Дали задание написать сетку, которая будет как-нибудь размечать текст. Я решила сделать разметку на эмоционально заряженные блоки, причем с уровнем эмоций.

Для того, чтоб сделать учебную базу, использовала тексты писателей-фантастов и Переводчик.

При запуске сеть дала прямо хорошие результаты, пока это были проценты. Но когда я начала их проверять, поняла, что сеть читерит. Она смекнула, что в результате получается много нулей (отсутствующих эмоций больше чем тех, которые есть в наличии), и стала настраиваться так, чтоб при любых входящих на выходе были нули.

Обнаружив обман, я всю прошлую неделю пыталась убедить ее учиться. Ноль согласия. Перешла на векторные базы слов (это когда вместо слов есть как бы точки в облаках понятий). Не помогло. Подключила генетику, чтобы боты сами собрали удачную конфигурацию для обучения сети. Ну.. они конечно, собрали чудо-дерево с нелогичными входами и выходами, но гора снова родила мышь - сетка исправно генерила нули.

Тогда я решила заменить векторные базы неизвестного происхождения на векторные базы известного. Не знаю, как делается модель word2vec, но я взяла базы Переводчика и вычислила веса ассоциаций всех имеющихся слов в нем относительно ста пятидесяти самых распространенных. Через пару часов это все досчитается, и проверю, согласится ли сетка учиться так.