Как мы боролись за 100 млн. рублей

Сколько стоит ваш ум? Потянет ли на сумму из заголовка? Это статья про алгоритм поиска неизвестного решения. Как управлять командой, когда вы не знаете куда идёте... А ещё, это негласный девиз продакт-менеджера научного проекта. Простите, что на сайте, где обитают люди прагматичного склада ума я публикую текст столь ветреного содержания, столь изобилующий лиричными и философскими словами без конкретики, готовых решений и алгоритмов для действий. По сути - вода водой! Это похоже на детскую сказку "Иди туда не знаю куда, найди то, не знаю что". Не слышали про такое? Тогда, добро пожаловать под кат.

Эта статья была написана 3 месяца назад, сразу после подведения итогов первого этапа амбициозного конкурса UP GREAT. Всё не доходили руки упорядочить мысли и выложить текст на vc.ru . Наконец-то я это сделал! И это мой первый текст здесь.

Помните эту удивительную рекламу на vc в стиле Ильфа и Петрова?

Ведь все мы являемся живыми доказательствами того, что это возможно. Как-то ведь в наших головах происходит этот процесс - понимание смысла сказанного или прочитанного. Мы им пользуемся постоянно, но понятия не имеем как он устроен и на каких принципах работает...

Что-то мне говорит, что прогресс в поисках разгадки этого алгоритма свернул не туда. Он увлёкся трансформерами (State the art науки в обработке слов). Но готов поспорить, что в наших головах не работают алгоритмы на основе трансформеров. И даже ни второго, ни третьего и ни сотого поколения их развития. Что-то мне подсказывает, что там нечто, работающее на совсем других принципах... Вот эти принципы и хотели узнать организаторы конкурса Upgreat. (И мы тоже.) Хотя, подозреваю, что за такие знания человечество готово предложить сумму и в тысячу раз больше.

- Мы в игре? - спросил я, когда команда была в сборе, показав на рекламный лендинг конкурса Upgreat на экране своего ноутбука. Возникла пауза. И каждый заполнял её своими мыслями - кто-то калькулировал доли от заявленного размера приза, кто-то прикидывал сложность задачи.

- В общем, глупо отказываться от таких денег, - констатировала Ольга. И все, выдохнув с облегчением, что нашёлся такой веский аргумент, закивали головами.

Вообще-то мы занимаемся диалоговыми алгоритмами, уважаем семантику и втайне недолюбливаем машинное обучение. О, боже, нет. Неужели, я это публично написал. Я же только что расписался в своей некомпетентности и профнепригодности. Не предлагать для решения любой задачи машинное обучение и нейронные сети это же верх невежества! Теперь любой мало мальски уважающий себя датасайентист может бросить в меня камень и другие датасайентисты его не осудят.

Как вообще можно в век Bert-ов, рекурентных сверточных сетей и Transformer-ов говорить, что может быть другое решение. Чему же тогда учат на многочисленных курсах и в продвинутых заведениях?! Столько людей ведь не могут ошибаться!

Вон даже организаторы конкурса убеждены, что решение может быть только в этом направлении и искать его нужно именно там. Даже исходные тексты предложили разметить. Бери эти данные да засовывай в машинные алгоритмы. Делов-то! Главное датасет побольше заиметь.

В общем, мы так не думали... На всеобщем собрании команды, я торжественно и немного помпезно, но скромно объявил - Ребята, человечество не право, мир идёт не туда. Там, куда все стремятся, решения нет...

Хотя всякие кейсы про навороченные нейронные сети это стильно, модно, молодёжно. Мейнстрим и всеобщий одобрямс. Вон даже Гугл на этих подходах перевоссоздал свой переводчик и как минимум удивил весь мир результатами.

На этом собрании я объявил, что мы отрываемся от текущих проектов на 21 день - ровно на три недели. Все текущие проекты останавливаются. Больше никакой разработки, никакого касдева, планирования, спринтов и т.д. Все дружно начинаем искать идеи, которые мир не нашёл. (Более яснее цель я не смог сформулировать). И больше ничем не занимаемся.

Для нас был очевиден один тезис - аналитика на основе слов это тупиковый путь. Для правильного решения нужно переходить на уровень семантики.

Но это легко сказать и интуитивно все в комнате это понимали. Только вот как это сделать? Как нащупать ту точку (перефразируя Ньютона), от которой можно оттолкнуться, чтобы понять смысл предложения перед ней.

Да, очевидно, что решения у нас не было. Не было даже понимания как это может работать. Мне как руководителю процесса были нужны идеи. Самые сумасшедшие и безумные какие я только мог добиться от пяти мозгов. И первое, что понадобилось это освободить эти мозги от всего лишнего и постороннего и не отвлекать их на что-то иное. Было понимание сверхважности нащупать правильную идею. Но, чтобы найти какую-то совершенно новую идею, нужно было расслабить сознание от невидимой колеи существующих решений. Как говорится, сбросить панцирь и посмотреть на мир глазами младенца с умом не испорченным знаниями.

Я перебирал многие подходы - методологии поиска идей. Начиная с ТРИЗ и заканчивая идеями сочинения историй от Джанни Родари. Я не знал, что сработает и пробовал всё... Первое, что я сделал это объявил собственный ежедневный приз в одну шоколадку за самую дикую, невообразимую, чудовищную и неадекватную идею. И приз в 3 шоколадки на следующий день тому, кто максимально приблизит её к реальности, обосновав её полезность и практическую реализуемость.

По началу всё шло достаточно кисло. Никто ничего не понимал, что происходит, что я хочу, к чему все эти безумства. Ведь нужно было просто сесть и начать "пилить" проект, а не терять время. Был ещё один нюанс - все мы взрослые люди и всем было сложно ронять свой авторитет всякими глупостями... Но вирус неадекватности был посеян и это неминуемо вело к коллективному сумасшествию.

Когда Алексей предложил сосредоточиться на изучении старославянского, мы все уставились на него, понимая, что текущая шоколадка его.
- Как это сделать? Сейчас уже много веков на нём никто не говорит. Сохранилось лишь малое количество записей на этом языке, дошедших до нас. Какая тут биг дата. Это просто микро дата... Но главный вопрос, что это нам даст? Чем этот древний язык лучше современного?
- Он должен был быть много проще и примитивнее. В нём не должно было быть всего современного мусора. А главное, мы могли бы сравнить, то, как передавали смысл в те века и как это делают сейчас, - словно слыша наши не озвученные вопросы, говорил Алексей.
И где же здесь зерно истины? - задавал я свой привычный вопрос на следующий день. - На нём же никто не говорит...
- А вы уверены, что и не понимает никто? - парировал Алексей и это заставило нас остановить критический взгляд на идею и задуматься о неожиданной гипотезе.
- Уверены! - хором ответили мы и поняли, что на самом деле ни фига не уверены.
- Это только у меня создалось такое ощущение, что внутри появилось сомнение? - спросил я и все подтвердили, что эта мысль возникла у всех. Может быть найдётся какой-нибудь литературовед-историк, изучавший его. Мало ли на свете маргиналов! Но так, чтобы понимать язык - вряд ли. И вообще непонятно как он звучал. Кто может в наше время понимать старославянский язык? Да, и что нам это даёт? Анализировать современные языки очень сложно. Может быть попытаться проанализировать старинные. Например, посмотреть на различные старинные переводы библии.

И понеслась дискуссия. Трещали мы долго. И итог был необычен. Мы пришли к выводу, что эволюция языков идёт в сторону их усложнения - появляются новые слова, обороты, жаргоны, заимствованные непереводимые слова из других языков, способы выражения смысла... Языки тысяча, двух- трёх- тысячной давности были намного проще, а значит намного ближе к основам формулирования смыслов. Ведь основа любого языка это семантический остов, который обвешан многообразием выражений. Чем взрослее язык, тем он сильнее запачкан конструкциями и обладает большей вариативностью передачи смысла. Чем больше в языке вариативности, тем сложнее исследователям увидеть его каркас. А поиск этого каркаса как-то интуитивно нами и понимался как поиск того самого священного грааля, которого все жаждут найти. Стало быть на старославянском было бы легче разглядеть этот семантический остов, чем на современном русском.

И эта идея отправилась в мою копилку ценных открытий. А её дальнейшее обсуждение привело нас к следующей идее - если предположить, что в основе всех языков должен лежать один и тот же семантический каркас, то может быть стоит поискать что-то, что семантически объединяет языки... Есть ли вообще что-то единое для всех языков?

Ну в каждом языке есть буквы (или иероглифы, которые тоже можно, зажмурившись (надеюсь текст не читают лингвисты) назвать буквами. Во многих языках есть гласные и согласные. Из букв складываются слова. Смотреть на статистику размера слов в разных языках, видимо не имеет смысла. Во многих языках есть конструкции для построения вопросов и выражения эмоций. Видимо эти смыслы очень важно уметь передавать всем народам. Причём это основано на способностях человеческого голосового аппарата. Если мы не можем произнести нечто голосом, то в языке этого не будет.

Всё перечисленное, вроде как, пустая информация и всем известные факты, но если посмотреть на всё это с позиции вопроса - зачем всё это возникло в языках. Что если в ответе на этот вопрос и лежит понимание, что же такой единый семантический каркас выражения смысла. Просто он так многообразно зашифрован и модифицирован, что абсолютно не понятен. Вот тут бы нам помогла вся эта математика алгоритмов машинного обучения, если бы хоть кто-нибудь понимал, что именно нужно анализировать и что здесь является исходными данными. Абсурдно, но это лежит прямо у нас перед носом, мы пользуемся этим постоянно и мы в упор не замечаем это знание. Похоже эволюция имеет намного большую фантазию, чем люди...

Следующая памятная шоколадка досталась за идею детских лямзиков. Возможно кто-то вспомнит сказку: Квазяблики кудрахтались в мове...
Смысла здесь нет. Но одновременно он здесь есть! Ведь мы каким-то невероятным образом его понимаем. Причём этот пример может выступить наглядным доказательством, что наше мышление построено не на антологиях осознаваемого-познаваемого мира предметов и понятий. Никто из нас никогда не видел квазябликов. И мы не знаем, что за действие кудрахтаться. Но тем не менее наш мозг создаёт ясную визуальную картинку. Мы не можем её описать в терминах передаваемого смысла, но можем - какими-то интуитивными ассоциациями с непонятно чем. Разве этот пример самым беспардонным образом не компрометирует все алгоритмы анализа текста, основанные на аналитике слов?!
Разве приведённый аргумент не заставляет задуматься - все эти трансформеры (технологии, помогающие находить связи и закономерности употребления слов) действительно верное направления поисков, действительно ли это суть, приближающая нас к истинному пониманию. Или как в анекдоте мы ищем не там, где потеряли, а там, где светло. Кажется очевидным, что мы упускаем какую-то важную суть, а выводы делаем на основе чего-то вторичного. Именно в этом и есть причина того, что человечество не может получить прорыва в технологиях понимания смысла. Мы не смотрим в суть и не отталкиваемся от сердцевины и главных признаков, а сосредотачиваемся на побочных и очень левых данных.

За этот 21 день в погоне за шоколадками, которые непостижимым образом разожгли в нас дух соперничества и зависти к нелепым глупостям других, чего только мы не перепробовали и как только не подурачились (в самом плохом и хорошем смысле этого слова). О, хвала, пожирателям шоколада!

Мы кинулись скупать все книги по лингвистике и семантики советских времён. Искали сканы в интернете. Это оказался поистине кладезь идей. Тогда среди людей обитали настоящие титаны мысли. Читать их тяжело. Порой они пишут совсем про другое... В 99% это просто научный текст. Но иногда попадались действительно классные идеи.

Тем кому это интересно стоит почитать труды Московской школы лингвистики и книжки польки Звербжицкой. Это всё попытки структурировать текст и поиск в нём глубинной структуры. Также не пропустите ещё один интересный опус "Смысл-текст" Мельчука. В те времена люди ещё не молились на всесильные нейронные сети и голова их была занята намного более стоящими идеями. Была бы наша воля с удовольствием всех этих авторов угостили бы шоколадками за победу в нашем ежедневном конкурсе безумных идей.

Семантика Сесиля навела нас мысль задаться вопросом - А какая логика лежит в основе языка? Однако здесь очень важно не скатываться в правила орфографии и морфологии, а оставаться над этой бренной суетой. Логика построения предложений снова откатывала нас к логике языка.

- В чём здесь логика? - спрашивал я. Логика языка в задаче обменяться информацией. Ну, например, некий главенствующий объект как-то взаимодействует с другим объектом. (Что бы мы сейчас под объектом не понимали, любая сущность). Или поискать здесь логику в самих утверждениях...

- Если бы у нас появилась задача придумать новый язык, как бы мы его структурировали ? - спросил я на нашей очередной встрече. - Только не надо изобретать Эсперанто 2.0.

Эсперанто, действительно, логичный и упрощённый язык. Но им не пользуются. Именно за его достоинства. Что присутствует в живых, а не в клонированных языках? Людям нравится общаться сложными, запутанными, замысловатыми и жаргонными способами выражения мыслей. В языке должны быть заложены способности передавать тонкости и нюансы эмоций, характеристик, поведения. Люди это сложные существа. Им не хватает в Эсперанто сложности, чтобы передать насколько они сами сложны. Причём порой создаётся впечатление, что смысл передаётся не столько словами, сколько каким-то интуитивно неосознаваемым способом между строк.

У нас много обсуждалась тема про возможности передачи эмоций. Действительно, при обмене информацией, мы её переживаем и строим эмоциональную модель. Непостижимым образом эту сложную эмоциональную модель человечество свело к задаче оценки тональности высказывания. (Кто в курсе, тот понял.) Как оказывается всё просто! (Или мы опять наблюдаем ситуацию - ищу, где светло). И на полном серьёзе провозгласило её важной - венцом и целью для достижения. А ведь понимание эмоциональной модели текста позволило бы получать очень необычные данные о тексте, которые современными технологиями просто не учитываются.

А про мат, как сильно эмоциональные слова, я, всё же, в другой статье напишу...

Тут нужно немного оступиться и попиарить себя. Дело в том, что мы (https://экстрема.рф) помимо всего прочего занимаемся психолингвистической аналитикой (надеюсь vc.ru не читают спецслужбы). И нам, конечно, очень хотелось притянуть за уши наши разработки для решения задачи конкурса Upgreat. А потому, возникшая тема понимания эмоций очень меня обрадовала, как объективная причина (аргумент), почему нужно копать в этом направлении. Но волевым усилием пришлось взять себя в руки и снова сгонять всех с проторённой колеи сознания, отгоняя от темы над которой мы уже потратили много мысленной энергии и нам она стала знакомой и почти родной. Возвращаться в незнакомое всегда больно и неприятно.

Я снова вернул всех к квазявкам и настаивал развивать эту тему. Сразу спойлер - о чём впоследствии пожалел. Я предложил поиграть в такую игру (конечно, не подумайте, что ради развлечения, а сугубо в практичных и научных целях) - мы все начинаем придумывать абсолютно по-новому звучащий язык (придумываем не его конструкции, а сами слова) и будем говорить несколько дней исключительно языком квазябликов.

Не знаю как остальные члены команды, но я с полной ответственностью и прилежанием издевался над семьёй, общаясь на тарабарском языке. Не буду описывать, что по этому поводу говорили моя мама и жена, но дети очень быстро прониклись темой и своими речевыми фантазиями давали большой материал для размышлений о том, как же и что же мы понимаем из слов?

Этот чудовищный вопрос до сих пор сводит меня с ума. По истечении этой пары дней в нас было много эмоций, но мало понимания, что же мы таким образом смогли узнать о тайнах смыслах. В отчаянии я готов был пуститься во все тяжкие и даже предложил всем ещё пару дней пообщаться на языке кошек и собак - на выбор. Гавкая или маукая... В общем, если кратко, то жена устроила скандал и подчиняясь жёсткому ультиматуму пришлось срочно прекратить научный эксперимент. Опыт остальных членов команды был плюс-минус аналогичным.

Кстати, тема детского сада у нас тоже возникала и получала шоколадки. Мы предположили, что маленькие дети в младенческом возрасте разговаривают на своём языке, в котором тоже есть смысл. Мы, взрослые люди, не понимаем его и смотрим на эту лепету свысока. Однако это ложное высокомерие. Оно от непонимания всей этой белиберды. Возможно, каждый ребёнок сначала изобретает свой собственный язык и лишь потом учится понимать язык окружающих. Как можно иметь снисходительное отношение к тому, чего не понимаешь?!... Но и здесь, как мы не старались, не смогли нащупать зёрна истины и извлечь хоть какую-то пользу из этих размышлений.

Последняя запомнившаяся безумная идея была о том, как если бы язык был бы аналогом какой-нибудь логической игры, например, шахмат, по каким бы правилам она бы игралась? Как можно было бы взять слово и "походить" им конём, возможно, превратив в какую-то мысль. Или довести какую-нибудь букву-пешку до дамки, превратив в полноценное слово... Было прикольно, но тоже бессмысленно.

Надеюсь, что статья охарактеризовала нас как действительно ненормальных персонажей. Мы дали себе право быть глупыми, бездарными и жалкими. И дальше, чтобы я не написал, хуже себя дискредитировать уже не смогу).

Наверное, все читающие этот текст ждут момента, когда же я, наконец, объявлю, что мы нашли то, что искали. Как в каждой правильной сказке в начале должно быть много трудностей, а потом счастливый хэппи энд. Мол мы долго искали, отчаивались, было тяжело и грустно, но мы не сдавались и усилия были вознаграждены... Спешу опять спойлернуть - ничего такого не случилось. Ничего подобного не произошло. Человечество всё ещё в жопе (надеюсь, это не читают дети), даже не осознавая этого. Потому что подобная технология кардинально всё изменила бы в этом мире. (Не понятно как этот мир до сих пор без неё выживает). И 100 миллионов за такие перемены было не жалко дать.

Нет, мы не нашли того, чего искали. И создавали свою систему до конца не понимая как и почему она должна работать. Мы лишь знали, какой она не должна быть... Да, это очень мало, но такова селяви...

Несмотря на то, что весь мир и всё развитие NLP/NLU дружно смотрит на нейронные сети и машинное обучение. (Остальные конкурсные работы были основаны на этих модных технологиях). Все верят, в то, что вот мы сейчас создадим свой лучший вариант Трансформера, вот тут его улучшим, здесь подтюним и получим искусственный интеллект, способный понимать смысл фраз. Но, простите мне мою бестактность, в какой части Трансформера есть хоть что-то про смысл?

Это всё решения, основанные на аналитике слов и их закономерностей. А в русском языке одними и теми же словами и фразами можно передавать совершенно разные смыслы. Порой противоположные. Поэтому решения основанные на аналитике слов никогда не будут, как минимум, точными. Русский язык очень многообразен. В нём имеется большой словарный запас, множество разных конструкций связывания слов, есть возможности высказать смысл иносказательно или вообще опустить часть смысловой конструкции без потери смысла.

Мы смотрим на решение этой задачи совсем по-другому. В смысле мало закономерностей. За словами мы пытаемся увидеть структуры, несущие смысл - это семантические сущности и их взаимосвязи. Для нас текст это не набор слов, а набор неких структур. В отличие от традиционных подходов в аналитике текста, основанной на статистических методах и разных подходах машинного обучения для поиска шаблонов и закономерностей, мы ищем лишь семантику. Конечно, это не стандартный подход... Но нужно же кому-то идти против мейнстрима. Нужно же, чтобы как можно больше исследователей двигались в как можно больше разнообразных направлениях. Так больше шансов у человечества, что кто-то что-то найдёт.

Быть продактом научного проекта та ещё песня. При обычной IT-разработке, вы точно знаете, куда движетесь, какой результат ожидаете получить и сколько времени и денег вам на это понадобится. Поэтому можете выстроить road-map, бежать спринтами, оптимизировать путь к цели, прогнозировать показатели... При управлении научным проектом всё наоборот. Вы лишь образно понимаете к чему хотите прийти и совсем не представляете как этого достичь. Невозможно ничего планировать, невозможно организовывать процессы. Это абсолютно броуновское движение на удачу. Всё, чем можно управлять, это направлением поисков. И здесь все расчёты не на аналитике, а на интуиции.

Нельзя запланировать заранее, что через неделю мы сделаем такое-то изобретение, ещё через два месяца у нас случится такое-то открытие, а ещё через немного времени мы точно сделаем прорыв в науке... Обещать, конечно, всё это можно, но ничего кроме слов за этим не будет стоять.

Идти с такими проектами к инвесторам просто безумие - никаких тебе бизнес-планов, проверенных гипотез, доказанных цифр. Только вилами по воде... Риск: 1 против 100. Но такой же и мультипликатор экзита. (И это несомненный плюс научных стартапов). Такие проекты не для прагматиков, а для авантюристов.

Вернёмся к конкурсу. Мы участвовали в первом туре. И это был фиаско! Мы самым глупейшим казусом профукали 6% заданий. По регламенту конкурса разрешалось не более 5%. Взгляните на итоговую рейтинговую таблицу. Там видно, что мы смогли набрать самый большой бал из всех именитых команд, но были позорно дисквалифицированы. Хотя наш результат и превосходит результаты остальных команд, но без умопомрачительного отрыва. Для меня это больнее, чем этот несчастный 1% не давший нам попасть в рейтинге на первое место...

Если нашлись люди, которые смогли дочитать до сюда и у которых есть своя завалявшаяся безумная идея, буду признателен за спам в комментариях. Но только по существу затронутой темы. Если у вас есть бредовая идея, до которой мы не додумались, поделитесь своими глупостями с миром. Это статья пример того редкого случая, когда чья-то глупость может полностью перевернуть мир. Шоколадка за мной!

#личныйопыт #upgreat #экстрема #конкурсы #смысл