Kagi Universal Summarizer

Universal Summarizer — это инструмент на базе искусственного интеллекта, для резюмирования практически любого контента, любого типа и любой длины, путём простого указания URL-адреса.

Два механизма суммирования на выбор: "Агнес" - формальное, техническое аналитическое резюме; "Дафна" - неформальное, творческое, дружелюбное резюме + механизм суммирования корпоративного уровня.

Universal Summarizer доступен в виде веб-приложения, для всех пользователей Kagi Search (вы можете создать бесплатную пробную учетную запись, чтобы попробовать его) или в виде API. Вы также можете использовать его через расширение Kagi Search (скоро) или через интеграцию Zapier (скоро), в свои программные рабочие процессы.

Если вы используете поиск Kagi, вы можете ввести «!sum [url]», чтобы напрямую открыть Universal Summarizer для этого URL-адреса. Кроме того, вы можете использовать !sumt для запроса «ключевых моментов».

• Веб-сайт или веб-страница, включая статьи и сообщения в блогах. Пример.
• PDF-документы. Пример .
• Аудио/Подкасты. Поддерживаемые форматы mp3 и wav. 1 час аудио транскрибируется в режиме реального времени примерно за 10 секунд. Пример .
• YouTube видео. В настоящее время мы используем доступные расшифровки видео. В дальнейшем мы будем обобщать видео напрямую. Пример .

К специальным типам контента относятся:

• Книги или любой другой объемный контент. Пример .
• Темы твиттера. Пример .
• HN threads. Ветки обсуждения, под постами. Пример .

При использовании веб-приложения, сводки, оплачиваются как часть вашей подписки Kagi в соответствии с тарифами на использование ИИ.

Использование инструментов ИИ будет рассматриваться как использование поиска в соответствии с вашим планом Kagi .

Обычно Kagi считает 1000 токенов, обработанных ИИ, одним поиском. На практике это означает, что:

• Для суммирования результатов обычно используется 700-800 токенов или менее 1 поиска. Кэшированные сводки будут бесплатными.
• «Задать вопросы о документе» обычно использует 500–1000 токенов на вопрос (в зависимости от размера документа).
• Суммарная страница использует вдвое больше токенов. Типичный пост в блоге или статья будет иметь 500-2500 токенов, что в сумме приведет к 1-5 поисковым запросам. Мы устанавливаем ограничение на максимальное количество заряженных токенов до 10 000, даже если в документе их больше. Например, если вы резюмируете всю книгу из 100 000 слов, это будет стоить вам примерно 10 поисковых запросов. Кроме того, если сводка была закэширована (кто-то запросил ее ранее), она будет бесплатной.

Пробные учетные записи имеют ограничение в 10 ежемесячных взаимодействий с ИИ. Устаревший профессиональный план имеет ограничение в 50 взаимодействий с ИИ в месяц. Окончательный план имеет политику добросовестного использования 300 ежемесячных взаимодействий с ИИ.

Доступ к Universal Summarizer также можно получить через поиск Kagi в качестве функции страницы Summarize в результатах поиска.

Для использования API цена составляет 0,030 доллара США за 1000 обработанных токенов или 0,025 доллара США за 1000 обработанных токенов, если вы используете план Kagi Ultimate.

Также анонсируется Muriel, механизм суммирования корпоративного уровня, доступный для предприятий. Muriel предлагает резюме беспрецедентного качества и фиксированную стоимость обобщения, в размере 1 доллара США за резюме, независимо от длины документа. Muriel идеально подходит для отделов новостей, юридических групп, исследований и других видов деятельности, где необходим быстрый доступ к высококачественным сводкам. Свяжитесь с Vladimir Prelovac по адресу [email protected] для демонстрации и получения дополнительной информации.

Вопрос. Зачем использовать Universal Summarizer вместо LLM?

Ответ. Сравнение Universal Summarizer и типичного LLM уместно лишь частично, поскольку эти инструменты служат разным целям. LLM хороши во многих вещах, тогда как Universal Summarizer пытается делать только одну вещь и быть в ней лучше всех.

Например, хотя LLM может обобщать текст, ему не хватает функций для обработки информации из различных источников, например содержимого непосредственно из URL-адресов. Другими словами, требуется дополнительная работа по приведению контента в форму, которую может обработать LLM (очищенный текст).

Universal Summarizer, с другой стороны, предлагает комплексную инфраструктуру, которая позволяет ему автоматически извлекать, анализировать, очищать и обрабатывать контент с веб-страниц, PDF-файлов и даже видео YouTube. Он может даже расшифровывать и обобщать аудиофайлы в режиме реального времени, предоставляя пользователям беспрепятственный и удобный опыт.

Кроме того, способность Universal Summarizer обрабатывать неограниченное количество токенов отличает его от большинства доступных в настоящее время LLM. Universal Summarizer предлагает более универсальное и надежное решение для обобщения и обработки информации из различных форматов и источников.

Вопрос. Чем Universal Summarizer отличается от GPT4?

Ответ. В то время как GPT-4 может суммировать большее количество токенов, чем GPT-3.x (до 32 000 токенов), Universal Summarizer преодолевает это ограничение, способное суммировать документы, содержащие 50 000 или даже 200 000 токенов.

Universal Summarizer — более доступный и быстрый вариант с точки зрения стоимости и эффективности. Суммирование 32 000 токенов с использованием GPT-4 будет стоить 1,92 доллара (32 000 x 0,06 доллара), тогда как та же задача будет стоить всего 0,30 доллара (10 000 x 0,03 доллара) с универсальным суммировщиком. Это связано с ограничением в 10 000 оплачиваемых токенов, гарантируя, что каждая сводка будет стоить не более 0,30 доллара США.

Universal Summarizer предлагает большую гибкость в управлении лимитами токенов и представляет собой более экономичное и эффективное решение, чем GPT-4.

Вопрос. Можете ли вы дать обзор того, как работает Universal Summarizer? Как обойти ограничение длины контекста?

Ответ. Мы используем совершенно другой подход к суммированию, который не имеет ограничения по количеству токенов.

Вопрос. Почему для использования Universal Summarizer требуется учетная запись?

Ответ. Основная причина – контроль затрат. В прошлый раз, когда мы делали это без аккаунтов, сервис был забит ботами, и это был дорогой урок.

Вопрос. В чем разница между моделью Agnes и Muriel (предприятие)?

Ответ. Краткое сравнение между Agnes и Muriel, на примере статьи «Масштабирование языковых моделей: методы, анализ и результаты обучения Gopher» https://arxiv.org/pdf/2112.11446.pdf.

Agnes: документ в формате PDF под названием «Масштабирование языковых моделей: методы, анализ и информация от Training Gopher» представляет анализ производительности языковой модели на основе Transformer в широком диапазоне масштабов модели, от моделей с десятками миллионов параметров до 280 миллиардов параметров модели под названием Gopher. Модели оцениваются по 152 различным задачам, в большинстве из которых достигается самая современная производительность. Исследование показало, что выгоды от масштаба самые большие в таких областях, как понимание прочитанного, проверка фактов и выявление токсичности языка, но в логических и математических рассуждениях имеют меньшую пользу. В документе также представлен целостный анализ обучающего набора данных и поведения моделей, охватывающий пересечение масштаба модели с предвзятостью и токсичностью. Окончательно, в исследовании, обсуждается применение языковых моделей к безопасности ИИ и смягчению последующего вреда. Ключевым выводом этого исследования является то, что более крупные языковые модели могут значительно повысить производительность при выполнении широкого круга задач обработки естественного языка, но также существуют опасения по поводу потенциальной предвзятости и токсичности этих моделей.

Muriel: В этом документе в формате PDF представлен анализ производительности языковой модели на основе Transformer в различных масштабах с упором на модель с 280 миллиардами параметров, под названием Gopher. Модели оцениваются по 152 различным задачам, и в большинстве из них достигается самая современная производительность. Наиболее значительный выигрыш от масштабирования наблюдается в таких областях, как понимание прочитанного, проверка фактов и идентификация токсичности языка, в то время как логические и математические рассуждения имеют меньшую пользу.

В документе также представлен целостный анализ обучающего набора данных и поведения модели, исследуя пересечение масштаба модели с предвзятостью и токсичностью. В нём обсуждается применение языковых моделей к безопасности ИИ и смягчению последующего вреда.

Основные результаты включают в себя:
1. Gopher превосходит текущие современные языковые модели примерно в 81% задач, с сопоставимыми результатами, особенно в наукоемких областях, таких как проверка фактов и общие знания.
2. Более крупные модели с большей вероятностью будут генерировать токсичные реакции, при наличии токсичных подсказок, но они также могут более точно классифицировать токсичность.
3. Выигрыш от масштаба больше всего проявляется в таких областях, как понимание прочитанного, проверка фактов и выявление токсичного языка. Однако логические и математические рассуждения имеют меньшую пользу.

В документе также обсуждаются проблемы и будущие направления, такие как:
1. На пути к эффективным архитектурам: потребность в более эффективных архитектурах для снижения вычислительных затрат на обучение и вывод.
2. Проблемы токсичности и предвзятости: решение проблем токсичности и предвзятости в языковых моделях для обеспечения безопасных и справедливых систем ИИ.
3. Преимущества и риски для безопасности: баланс между потенциальными преимуществами языковых моделей в области безопасности ИИ и рисками, связанными с их неправильным использованием.

В заключение в документе подчеркивается улучшенная производительность крупномасштабных языковых моделей, таких как Gopher, в различных задачах, и подчеркивается важность решения проблем, связанных с токсичностью, предвзятостью и безопасностью ИИ.

Источник: блог Kagi.