Ошибки ИИ в работе с литературой
На работе я иногда пишу отчёты об исследованиях. В таких отчётах должно быть примерно следующее содержание:
- вот такая есть проблема;
- вот что люди про это пишут;
- но про вот это они не пишут, а оно важно, и вот почему;
- мы сделали вот это, оно закрывает пробел, который мы нашли;
- у нашей идеи есть такие ограничения, мы их вот так проработаем, если нам дадут ещё денег.
Чтобы написать первые два пункта, надо прочитать очень много работ других авторов. Очень много. Убедиться, что мы ничего не пропустили и не собираемся изобретать велосипед. Это идеальная задача, чтобы задействовать ИИ.
Для одного из последних таких отчётов я использовала Opus 4.8 / 5. Процесс примерно так выглядит:
- раскладываю идею на компоненты;
- беру один компонент (например, “использование плотности вхождений терминов запроса для оценки релевантности текста” — то есть, очень узкую область), описываю его ИИ и говорю: “Найди, что про это писали другие авторы”;
- получаю длинный обзор со ссылками (я всегда требую и полные названия, и интерактивные ссылки — так проще проверять);
- сижу читаю эти статьи с мыслью “Что из этого нам полезно?”
Иногда нужно для конкретной работы поискать копию в открытом доступе, первоисточники, критику или что-то такое — тут ИИ тоже помогает.
В процессе у меня накопился набор типовых ситуаций, в которых ИИ делает ошибки чаще всего. Делюсь, чтобы вы могли их легко найти.
Виды ошибок
Склейка через посредника
Особенно если статьи нет в открытом доступе такое бывает: ИИ находит упоминание нужной статьи в другой и подменяет содержание. То есть, говорит: “В статье такой-то авторы пишут то-то,” — а это не авторы оригинала пишут, а автор обзора.
Обзор при этом может быть вообще на другую тему, просто где-то в предисловии статья к слову пришлась. ИИ такое может не поймать.
Иногда ИИ делает вывод из статьи и выдаёт его за вывод авторов. Например, пишем мы о посадке огурцов в зоне, где есть грунтовые воды. ИИ нашёл статью о посадке огурцов в засушливом районе и пишет: “Грунтовые воды мешают посадке огурцов, их надо отвести,” — а авторы ничего такого не имели в виду, их просто интересовали засушливые районы.
У меня прям так и было, только не про огурцы.
Смешение работ одного автора или работ со схожими названиями
Автор написал несколько работ на одну тему в разных командах — ИИ взял авторский состав одной работы, а суть другой.
В моих глазах это менее критично, особенно если статьи смежные и одна развивает и дополняет мысль другой, но меня с командой как-то развернули со статьёй для конференции за ошибки в списке литературы. Правильно сделали, разумеется.
Мы использовали ИИ при написании работы и всё потом внимательно перепроверили, а про список литературы просто не подумали: казалось, негде там ошибиться.
Поиск первоисточника по цитированию
Разумеется, через цитирование можно найти первоисточник: читаете статью, там написано что-то вроде: “Как писали вот эти люди, сажать огурцы лучше в апреле”. Переходите на статью вот этих людей, оттуда на более раннюю, и так до того, кто пишет про температуру грунта, наилучшую для огурцов.
Но так не всегда можно докопаться до настоящего первоисточника: его могли не процитировать в той линии, которую мы разбираем. Первоисточник лучше искать отдельно.
Что делать
Это не все ошибки, а только такие, которые, как мне кажется, легче всего упустить. Я не пишу про сломанные ссылки и подобные мелочи: их легко поймать и исправить.
И не пишу про случаи, когда ИИ говорит: “Статью проверил,” — а не деле проверил только, что она существует, а не её содержание. Вы же на такое не ведётесь, верно?
Вывод простой: статьи читаем сами, пока без этого нельзя. Если вас жестоко ограничили во времени, читайте хотя бы реферат и выводы. Можно скачать статью целиком и дать её ИИ, чтоб пересказал содержание: он гораздо меньше ошибается, когда есть доступ к тексту. Но всегда лучше прочитать самостоятельно: вы же будете за результат отвечать, в конце концов.
P.S.: Приглашаю вас к себе в телеграм. Не понравится – отпишетесь. А вдруг понравится? Заходите