🎳 Недельный ИИ-дайджест: события, которые нельзя пропустить.

🌟 Google Project Jarvis. Google разрабатывает AI-ассистент, Project Jarvis на базе Gemini 2.0. Среди функций Jarvis — автоматизация веб-задач, глубокая интеграция с сервисами Google и продвинутая технология принятия решений, подобная o1. Релиз запланирован на декабрь 2024. Амбициозное название "Jarvis" поднимает планку ожиданий.

🐼 Red_panda покоряет вершины. Новый ИИ-генератор изображений Red_panda лидирует в рейтинге Artificial Analysis Image Arena, опережая конкурентов, таких как Flux 1.1 pro, Ideogram v2 и Midjourney v6.1. Red_panda превосходит Flux 1.1 pro на 39 ELO points с показателем побед 72%, демонстрируя высокое качество реалистичных изображений и улучшенную генерацию текста.

📖 Разработчики Llama открывают исходный код NotebookLM. Meta (Организация, запрещенная в РФ), выпустила открытый исходный код NotebookLM — инструмента для создания подкастов из текстовых документов. Для обработки текста используется Llama, а для генерации аудио — Bark. Пока качество генерируемых голосов уступает Google NotebookLM, но это важный шаг в развитии open-source технологий в области AI.

👁 Прорыв в восстановлении зрения. Science Corporation провела успешные клинические испытания 2-миллиметрового чипа-импланта для сетчатки глаза. Через год 32 участника испытаний смогли прочитать на 23 буквы больше в стандартном тесте на остроту зрения. Их зрение улучшилось до 20/160, а с использованием функции масштабирования — до 20/63.

💸 NVIDIA RTX 5090: цена и ожидания. Согласно утечке информации, стартовая цена NVIDIA RTX 5090 составит $2000. Видеокарта будет оснащена 32 ГБ видеопамяти. Релиз ожидается в январе 2024. Мнения разделились: некоторые считают цену завышенной, другие — приемлемой, но объём памяти в 32 ГБ многим кажется недостаточным. Часть интернет пользователей планирует остаться на RTX 3090/4090.

🍏 Apple Mac Mini M4 для AI-энтузиастов. Apple представила Mac Mini M4. Базовая модель (32GB) имеет пропускную способность памяти 120 GB/s, Pro версия (64GB) — 273 GB/s. Цена варьируется от $499 до $2000. Производительность составляет ∼6-7 токенов/с с Qwen 72B 4-bit MLX (для сравнения, RTX 3090 имеет 936 GB/s). Преимущества: компактные размеры, низкое энергопотребление, архитектура Unified Memory, доступная цена базовой версии.

🔋 Apple M4: новые возможности для локальных AI-моделей. M4 Pro удваивает максимальный объём RAM по сравнению с M3 Pro. M4 Max поддерживает до 256 ГБ, а M4 Ultra — до 512 ГБ. Пропускная способность памяти достигает 273 GB/s. Основные преимущества: Unified Memory, энергоэффективность, поддержка больших локальных моделей. Несмотря на более низкую скорость обработки промптов по сравнению с NVIDIA, unified memory и оптимизация MLX делают M4 привлекательным решением для работы с локальными AI-моделями.

✨ GitHub Spark: создавайте мини-приложения без кода. GitHub запустил платформу Spark, позволяющую создавать персонализированные мини-приложения без навыков программирования. Spark предлагает интуитивно понятный интерфейс, интеграцию с различными ИИ-моделями (Claude Sonnet 3.5, GPT-4o, o1-preview, o1-mini), а также простое редактирование и мгновенное развертывание.

🔍 ChatGPT Search: новый подход к поиску информации. OpenAI представила функцию поиска в ChatGPT, интегрированную с Bing. Она включает учёт актуальных дат, встроенные цитаты из источников и расширение для Chrome. Пользователи отмечают точность и актуальность результатов. Хотя ChatGPT Search иногда сравнивают с perplexity.ai. Это важный шаг в развитии поисковых технологий.

💻 Claude выходит на десктоп. Anthropic выпустила десктопное приложение Claude для Windows и Mac. Приложение обеспечивает быстрый доступ через горячие клавиши, отдельное окно чата и непрерывную авторизацию. Важно отметить, что приложение — это обёртка над веб-версией на Electron. Если важна экономия RAM, рекомендую использовать веб-версию.

⚠ Уязвимости в Ollama: обновляйтесь! Исследователи Oligo Security обнаружили 6 уязвимостей в open-source фреймворке Ollama для работы с ИИ-моделями. Уязвимости могут привести к DoS-атакам, краже и компрометации моделей, а также утечке системной информации. 4 уязвимости уже исправлены. Рекомендуется обновить Ollama до последней версии (0.3.14), проверить доступность эндпоинтов и контролировать сетевые порты.

📄 Claude улучшает работу с PDF. Claude научился анализировать не только текст, но и визуальные элементы PDF-файлов, включая изображения, графики и диаграммы. Функция доступна как в веб-версии, так и через API. Claude обрабатывает каждую страницу PDF как текст и изображение, используя 1500-3000 токенов.

🎮 Генеративный ИИ создаёт играбельный Minecraft в реальном времени. Новая технология позволяет ИИ генерировать игровой процесс Minecraft в реальном времени (20 кадров в секунду) без использования игрового кода. Система обучена на видеозаписях геймплея и генерирует изображения в ответ на действия игрока. Демонстрацию можно найти на oasis-model.github.io. Это важный шаг в создании полностью генеративных игр на основе текстовых описаний.

🗣 Claude тестирует голосовой ввод. Anthropic тестирует функцию голосового ввода в приложении Claude. Пока она доступна ограниченному числу пользователей и поддерживает несколько языков. Голосовой ввод встроен в приложение и работает без системного распознавания речи. Отзывы пользователей разнятся: одни отмечают удобство, другие — ошибки в распознавании и отсутствие автоматической расстановки знаков препинания.