Думаем об ИИ и людях
GraphRAG (графовый RAG) — очень мощный инструмент для использования с языковыми моделями, если знать, когда и как им пользоваться. Если не знать — громоздкий и бестолковый.
Если вы прочитали первый абзац и ничего не поняли, не переживайте: сейчас всё объясню.
Продолжаем обсуждать безопасность, полезность и подконтрольность языковых моделей. Сегодня расскажу вам про статью “Towards Safety and Helpfulness Balanced Responses via Controllable Large Language Models” ("Балансируем ответы больших языковых моделей между безопасностью и полезностью").
Есть целое направление мысли, которое занимается исследованиями в области “потенциального самосознания, самоощущения, морали и правового положения ИИ-систем”. Сейчас расскажу, как я на это дело вышла.
В 1800-х люди придумали использовать воду и пар, чтобы строить мощные машины и автоматизировать часть тяжёлой работы.
В 1900-х научились массово производить товары (и загрязнение окружающей среды), перемещаться по железным дорогам быстрее, чем когда-либо прежде, и электрифицировать заводы, чтобы производить ещё больше всего.
Применительно к языковым моделям существует понятие “emergent abilities” — “проявляющиеся способности”. Их чаще называют “эмерджентные способности”, но вы знаете, как интенсивно я не люблю малопонятные и труднопроизносимые термины.
Так вот, речь идёт о способностях, которые начинают проявляться, когда модель достигает определённого размера. П…
Сегодня в меню статья про «AGI». Опять. Я отказываюсь воспринимать этот термин всерьёз: в нём больше маркетинга, чем смысла*.
Но эта статья предлагает совокупный и весьма глубокий анализ ИИ, нейробиологии, психологии и ряда других областей, на пересечении которых случаются интересные вещи. Авторы сделали очень качественный обзор, за что испол…
Давайте поговорим о «личностях» у больших языковых моделей. На то есть весомая причина: в начале этого года сборная команда из MATS и Anthropic Fellows выпустила статью «The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models» («Ось Ассистента: выявление и стабилизация “личности по умолчанию” у языковых моделей»).
Один из моих любимых текстов – пост про нейроморфные вычисления. Это невероятная совершенно область про то, как бы нам всю красоту и мощь собственных мозгов описать математически и сделать красивые и мощные компьютеры.
Попалась мне ещё одна статья про то, как разные сложные концепции представлены внутри больших языковых моделей. Там интересный подход, хотя и не без шероховатостей, поэтому давайте почитаем.
Раньше если б вы меня спросили: «Ты кто?» – я бы ответила что-то вроде: «Специалист по анализу данных,» – или: «Разработчик программного обеспечения.» Сейчас я так себя не могу назвать.
То есть, формально, в моей жизни ничего не поменялось: я всё ещё работаю в той же области, и даже в той же компании, но я уже некоторое время не пишу руками к…
У меня не получается написать складное вступление к этому посту, поэтому вот краткая выжимка моих мыслей:
Когда языковые модели оценивают на безопасность и надёжность, есть проблема: большинство наборов данных для оценки составлены на английском языке. На других тоже есть, но не так много: недостаточно, чтобы всё как следует проверить.
Авторы статьи «One ruler to measure them all: Benchmarking multilingual long-context language models» («Одна лин…