Почти что анекдот: два канадских профессора в докладе для системы образования, призывающему к ответственному использованию ИИ, попались на цитировании несуществующих источников (виновник - тот самый ИИ)

Очень забавная и поучительная история произошла намедни, которая запросто могла бы стать анекдотом. Вся её драматургия крутится вокруг использования галлюцинирующего ИИ. И если бы я был сценаристом, с удовольствием бы умыкнул у СМИ этот сюжет для своего творчества. Но я, к сожалению, могу посмеяться вместе с остальными над ситуацией только в границах этой статьи. А призошло, собственно, вот что.

28 августа сего года в Канаде был опубликован доклад под названием "A Vision for the Future: Transforming and Modernizing Education". Его содержание представляет собою своего рода дорожную карту по развитию образования для школ и вузов на ближайшие 10 лет для канадской провинции Ньюфаундленд и Лабрадор. Объем текста ни много ни мало - 418 страниц, а готовили его долгих 18 месяцев. Разумеется, делалось это не бесплатно, а за грант или какую-нибудь иную премию, хотя суммы я не нашел, но можно не сомневаться в её размерах. Авторами выступили очень уважаемые в провинции, да и во всей Канаде, люди - Анна Бёрк (Anne Burke) и Карен Гуднау (Karen Goodnough), являющиеся профессорами Факультета образования Мемориального университета (Memorial University's Faculty of Education), а также советниками министра образования провинции Бернарда Дэвиса (Bernard Davis).

Доклад основан на прогрессивных идеях в образовании и часто упоминает использование ИИ в образовательных учреждениях, конечно же, не без учительского морализаторства. Так, одна из 110 рекомендаций доклада прямо нацелена на ответственное использовании ИИ: "provide learners and educators with essential AI knowledge, including ethics, data privacy, and responsible technology use". И все бы ничего, новые времена - новые нравы. Но есть один нюанс (с).

После публикации доклада от коллег авторов и разных общественных деятелей, которые ознакомились с ним, стали поступать - сначала неуверенно, а потом уже все более открыто и явно - сообщения, что доклад содержит цитаты со ссылкой на источники, которых не существует в природе. Тему подхватили журналисты канадского CBC, ранее помпезно освещавшие выход этого важного для провинции документа. На данный момент фиктивных цитат накопали 15, но поиски еще не окончены, ибо список одних только печатных источников доклада тянется на 40 страниц. Никто прямо не обвинял авторов в безотвественном использовании ИИ (пока только в некорректном цитировании), и сейчас инициировано расследование Министерством образования - тем самым, советниками при котором являются наши герои-авторы. В министерстве уже признали мелкие ошибки ("a small number of potential errors in citations") и пообещали в ближайшее время их исправить ("the online report will be updated in the coming days to rectify any errors"). В целом, видимо, решили спустить все на тормозах и скандал дальше не педалировать. Понравится ли налогоплательщикам и общественности такое замалчивание? Не думаю. Так что пока сия драма находится в развитии и кульминации своей еще не достигла.

Конечно же, игнорируя весь этот бюрократический формализм и никчемные отписки из министерства, связанные с расследованием, сейчас уже ни у кого нет сомнений, что авторы активно использовали ИИ, столкнулись с его галлюцинациями (то бишь генерацией фиктивного контента), не заметили этого и (вопреки своим бравурным рекомендациям!) не перепроверили источники цитат и сами цитаты, сэкономив, так сказать, на издержках.

Например, в одном из мест в докладе авторы используют цитаты из некоего фильма 2008 года "Игры школьного двора" (Schoolyard Games) производства National Film Board. Однако такого фильма никогда не существовало в природе, но внимательные журналисты нашли первоисточник этих цитат - гид по стилистике Университета Виктории (University of Victoria), где говорится, как правильно цитировать художественную литературу, причем делается оговорка, что почти все их примеры - вымышленные цитаты. Иными словами, перед нами типичный пример галлюцинаций ИИ.

Что меня рассмешило и удивило лично больше всего - этот тот лживый пафос, которым наполнено содержание доклада, та постоянная апелляция к неким высшим ценностям, честности и прочему. Вот, например, как авторы начинают свой доклад, обращаясь к главе провинции и к её министру образования: "We were given the responsibility of developing a 10-Year Education Accord for Newfoundland and Labrador, outlining strategic actions and recommendations to be implemented throughout its lifespan".

Дальше они отмечают невероятную важность возложенной на них миссии и самого доклада: "This report marks the culmination of our efforts to reimagine and enhance the education system in Newfoundland and Labrador. It reflects our shared commitment to fostering improved educational outcomes while aligning with the Provincial Government’s vision of becoming one of Canada’s healthiest provinces by 2031".

Там много такой пафосной и бессмысленной болтовни. Завершают они преамбулу своего опуса словами, обращенными к тем же чиновникам - "Respectfully submitted". Мда уж, уважили чиновников, подкинув им такую вот свинью и заставив отмазывать ученых мужей, ставя себя в идиотское положение. Ну а мы в свою очередь позларадствовали немного, нам хватит и этого :-)