Dataengineering

Прекрасная история, как мультиагентная AI система слила $47,000 после запуска в продакшен. И как этого избежать. Учимся на чужих ошибках!

Хранилище данных (Data Warehouse, DWH) не просто база. Это централизованная система, где данные из разных источников объединяются, очищаются и структурируются для аналитики и отчетности.

Если операционные системы отвечают на вопрос «Что произошло?», то DWH - на вопросы «Почему? Что будет? Где рост?»

Data-as-a-Product (данные как продукт), data mesh, semantic layer, каталоги данных, SLA - за последние годы вокруг этих концепций сформировался устойчивый консенсус: если начать относиться к данным как к продукту, компании станут по-настоящему “data-driven”.

Но если спуститься с конференций в повседневность продуктовых команд, картина оказыва…

Что такое Frontier Deployment Engineer? Роль Frontier Deployment Engineer (FDE) — это новая специализация, которая появилась в крупных AI-компаниях. FDE — это инженер, который сочетает технические навыки программирования с умением взаимодействовать с клиентами. Он не только внедряет и кастомизирует AI-модели, но и помогает клиентам эффективно испол…

Недавно я запускал и тестировал Marco o1. Это одна из первых опенсорсных языковых моделей с многоступенчатой логикой, эта модель использует Chain-of-Thoughts и некоторые другие алгоритмы, которые помогают с решением задач на математику, логику и кодинг. Marco-o1 названа по аналогии с OpenAI o1, благодаря которой Chain-of-Thoughts промптинг и файнтю…

Разработчикам приложений Generative AI стоит обратить внимание на новую коллекцию моделей Qwen 2.5 и Qwen 2.5 Coder. С сентября 2024 года эти модели привлекают внимание разработчиков благодаря своей эффективности.

Во-первых, веса Qwen 2.5 доступны в версиях от 0.5B параметров — это очень легковесная модель — до 72B. Посередине есть 3,…

Квантизация помогла портировать последнюю версию LLM Llama 3.2 на мобильные платформы - iOS и Android. Для этого разработчики выпустили квантованные версии Llama 3.2 1B и 3B, которые при тестах на ARM-процессорах показали высокую скорость инференса, по сравнению с несжатыми весами в формате BF16.

Как вообще получилось, что Llama работает на…

Недавний релиз Llama 3.2 с мультимодальными версиями 11B и 90B открывает возможности для создания AI приложений, анализирующих визуальный ввод.

Мультимодальные модели были и раньше, но это первая официальная версия Llama с такими функциями. Модель может быть использована для распознавания объектов и текста на изображении, как это делает GPT-4…

OpenAI изменили направление развития своих языковых моделей, от просто генерации текста их последняя модель перешла к решению задач с использованием логики и пошагового анализа проблемы.

До сих пор LLM генерировали текст на основе данных, использованных в процессе обучения. Веса модели хранят представление о зависимостях между текстовы…

Data science, машинное обучение и искусственный интеллект — не просто громкие слова: многие организации стремятся их освоить. Но прежде чем создавать интеллектуальные продукты, необходимо собрать и подготовить данные, которые станут топливом для ИИ. Фундамент для аналитических проектов закладывает специальная дисциплина — data engineering. Связанны…

ElasticSearch - это популярный распределенный поисковый и аналитический движок, предоставляющий широкий набор инструментов для управления индексами и повышения их производительности.

В этот понедельник Яндекс выложил в open source свой движок обработки больших массивов информации YTsaurus (ранее изве…