54 лучших инструмента создания аналитических отчетов для бизнеса

Моя компания занимается парсингом сайтов в России уже более трёх лет, ежедневно мы парсим более 500 крупнейших интернет-магазинов в России. На выходе мы, как правило, отдаем данные в формате Excel/CSV и наши клиенты загружают эти данные в свои аналитические системы для построения отчетов (мониторинг цен, ассортиментный анализ и т.п.).

В этой статье я расскажу вам о 54 современных инструментах для специалистов по данным (аналитики). Эти программы, платформы и библиотеки рекомендуют отраслевые эксперты. Перечень может показаться большим, но ниже я сразу привожу полный список, и вы можете прочитать непосредственно о том или ином инструменте и дальше легко найти его в Интернете по названию.

Если между стартапами, транснациональными корпорациями, политическими лидерами и другими организациями и есть что-то общее, то это использование данных для принятия стратегических решений.

Стартапы собирают все данные о рынке, которые им доступны, в том числе данные о поведении потребителей и информацию о конкурентах, и на основе них разрабатывают бизнес-планы.

Большие и малые компании, многонациональные корпорации и организации, работающие в разных отраслях, полагаются на статистические данные, такие как рыночные тенденции и результаты прошлых лет, при принятии решения о судьбе дочерних компаний, отделов и даже руководителей компаний.

Организации во всех секторах получают ценную информацию из данных и используют их для принятия важных решений — у каких поставщиков покупать сырье, в каких странах нужно расширяться, в какие продукты или сервисы стоит инвестировать и т.п. Данные всегда были важным товаром, но в последние годы в отрасли наблюдается огромный рост числа компаний, внедряющих большие данные.

Исследование, проведенное Dresner Advisory Services, показало, что число компаний, использующих большие данные, значительно увеличилось с 17% в 2015 году до 41% в 2016 году и 53% в 2017 году. Число компаний, которые пока не используют большие данные, за тот же трехлетний период сократилось всего до 11%. Самый ценный ресурс теперь не нефть, а данные

Если данные — это новая нефть, то наука о данных (data science) — это машина, которая обрабатывает их, чтобы сделать полезными. Без нее данные остаются нечитаемыми, и из них невозможно получить информацию.

Наука о данных — это машина, которая обрабатывает большие данные, тогда как специалисты по данным (дата сайентисты) — это люди, управляющие этими машинами. Они решают проблемы с помощью своих аналитических и технических навыков.

Неотъемлемая черта любых дата сайентистов — любопытство. Они должны интересоваться тем, что компании нужно для успеха, исследовать инструменты и заставлять их работать в своих целях, понимать, чего они не знают.

Как метко сказала Кэти О’Нил, американский математик и автор книги «Оружие математического поражения» (Weapons of Math Destruction): «Иногда задача ученого по данным состоит в том, чтобы знать, что вы ничего не знаете».

Конкретные обязанности ученого по данным включают в себя:

• Сбор большого количества неструктурированные данные и превращение их в структурированные, читаемые данные
• Использование разных языков программирования, таких как Python, SQL и R
• Исследование последних аналитических методологий, таких как глубокое и машинное обучение
• Анализ данные с выявлением закономерностей и тенденций, которые могут помочь компании в достижении своих целей
• Решение сложных проблем с помощью данных и статистики

Специалист по данным также должен обладать навыками настройки и работы с различными инструментами, включая инструменты отчетности.

Люди часто используют термины «инструменты бизнес-аналитики» и «инструменты отчетности» (в данном случае reporting это не только создание графиков, но и извлечение данных, работа с ними, анализ и, в конце-концов, построение отчетов) взаимозаменяемо, поэтому различия между ними как-то размыты. Но если вы собираетесь внимательно изучить эти два направления, вы увидите, что они используются для различных бизнес-целей.

Большинство платформ бизнес-аналитики уже включают в себя инструменты отчетности, и это понятно, так как, согласно приведенному выше исследованию Dresner, отчетность — это номер в списке технологий и инициатив, которые имеют стратегическое значение для бизнес-аналитики.

Вот в чем инструменты отчетности отличаются от инструментов бизнес-аналитики:

• Перспектива: инструменты отчетности описывают состояние компании на основе того, что произошло в прошлом, а инструменты бизнес-аналитики объясняют, что произошло, и как можно улучшить положение дел.
• Область применения: инструменты отчетности используются для работы с определенными наборами данных, например, формирования ежедневных отчетов о количестве заказов или количестве доставленных продуктов. Однако инструменты бизнес-аналитики объединяют несколько наборов данных и показывают взаимосвязь между этими данными.

Например, с помощью инструментов BI вы, просмотрев данные из отдела кадров, узнаете, почему сократилось количество доставок. Затем вы узнаете, как повысить производительность вашего отдела доставки, чтобы количество доставок в день соответствовало количеству полученных заказов.

• Формат: Отделы придерживаются фиксированного формата отчетности, чтобы облегчить работу работников. Например, команда доставки сразу узнаёт, какие поставки следует выполнить, потому что она уже знакома с форматом.

Когда дело доходит до инструментов бизнес-аналитики, формат является динамическим, что позволяет компаниям быстро работать с разными источниками данных и видеть причинно-следственные связи между ними.

Инструменты отчетности помогают повысить производительность и могут внести огромный вклад в общую эффективность бизнеса вашей компании.

Однако важно понять, какой инструмент отчетности нужен именно вам, поскольку не все инструменты созданы равными. От выбранной вами платформы может зависеть работа ключевых отделов, поэтому важно тщательно подойти к ее выбору.

Факторы, которые вы должны учитывать при выборе:

• Количество пользователей. Первое, что нужно оценить, — это количество людей, которые будут использовать инструмент не только на начальном этапе, но и в будущем. Вы планируете расширяться? Тогда количество пользователей тоже может увеличиться. Убедитесь, что выбранный вами инструмент отчетности поддержит этот рост.
• Объем обрабатываемых данных: у вас должно быть представление о размере данных, которые, как ожидается, будет обрабатывать инструмент отчетности. Инструмент отчетности должен быть масштабируемым, чтобы он мог справляться с растущим объемом данных, особенно это важно для SaaS и интернет-компаний.
• Ваш бюджет: сумма денег, которую вы можете инвестировать, также очень важна. Узнайте и сравните цены на различные инструменты и посмотрите, соответствуют ли они вашему бюджету.
• Простота использования: кривая обучения при использовании инструмента должна быть крутой, чтобы эффективно повышать производительность. Выберите инструмент с интуитивно понятным пользовательским интерфейсом, чтобы пользователи могли легко понять, как его использовать.
• Послепродажная поддержка: могут возникнуть проблемы, требующие обращения в службу поддержки разработчика, поэтому убедитесь, что он предоставляет достойную послепродажную поддержку. Это может включать в себя такие ресурсы, как видео и учебные пособия.
• Репутация поставщика: наконец, вам также необходимо изучить репутацию и стабильность поставщика. Компания работает в отрасли достаточно долго? Если она новичок, ее долгосрочные планы выглядят хорошими? Кто стоит за компанией? Вы должны знать эти вещи, так как вы будете доверять данные своей компании этому инструменту.

SAS уже более 40 лет является аналитическим центром, которому в 2018 году доверяли 92 из 100 крупнейших компаний списка Fortune Global 1000. Штаб-квартира компании находится в Северной Каролине, есть офисы и в других странах.

Кроме бизнес-аналитики, в пакете SAS также есть решения для:

• Расширенной аналитики
• Искусственного интеллекта
• Облачных вычислений
• Клиентской аналитики
• Управление данными
• Управления решениями
• Борьбы с мошенничество
• Hadoop
• Аналитики интернета вещей
• Управления производительностью
• Защиты персональных данных
• Управления цепочками поставок

В пакет программного обеспечения SAS входит более 200 компонентов, но сегодня мы рассмотрим SAS EBI или Suite of Business Intelligence Applications (набор приложений для бизнес-аналитики), который включает в себя инструменты отчетности.

Вот особенности SAS Business Intelligence:

• Настраиваемая панель отчетности
• Drag-and-drop функциональность
• Отчеты: финансовые, маркетинговые и продажи
• Экспорт данных
• Автоматизация и планирование отчетов
• Соединение источников данных
• Углубленная аналитика
• Прогнозирование

Если мы захотим определить одну сильную сторону SAS, то это будет его всесторонность. Клиентам не нужно использовать другие инструменты для своей бизнес-аналитики, визуализации данных или статистического анализа.

Программное обеспечение SAS используется на многих рынках, включая:

• Банковское дело
• Управление капиталами
• Казино
• Связь
• Потребительские товары
• Оборона и безопасность
• Правительственные службы
• Здравоохранение и страхование
• Высшее образование
• Отели
• Естественные науки
• Производство
• СМИ
• Средний бизнес
• Нефтяная и газовая промышленность
• Школьное образование
• Розничная торговля
• Спорт
• Путешествия и транспорт
• Коммунальные услуги

SAS является одним из основных игроков в сфере бизнес-аналитики, наряду с SAP, IBM, Salesforce и другими лидерами рынка. Взгляните на «Магический квадрант» Gartner для платформ бизнес-аналитики, который представил Рональд фон Лун:

Стоимость SAS Business Intelligence начинается от 8,000 долларов на пользователя в год. Компания сотрудничает с Wells Fargo в США и Канаде с программой оплаты, которая включает несколько вариантов перевода денег за платформу.

Клиенты могут выбрать отсроченные, фиксированные или линейные платежи. Они также могут платить ежегодно, раз в полгода, ежеквартально и ежемесячно, если они отвечают следующим требованиям:

• В бизнесе 2-3 года
• Не менее 10 сотрудников.
• Траты не менее 10,000 долларов
• Одобрение кредита

Бизнес-аналитика SAS оценивается на 4.5 из 5 звезд 31 респондентом в Capterra и 4 из 5 звезд 46 респондентами в G2 Crowd.

Alteryx специализируется на end-to-end анализе данных. Среди поддерживаемых решений: расширенная аналитика, бизнес-аналитика и визуализация данных, обнаружение и управление данными, аналитика местоположений, подготовка данных и технологические интеграции.

Alteryx доверяют тысячи клиентов по всему миру, включая McDonald’s, Audi, Unilever и Experian. Генеральный директор Alteryx Дин Штекер недавно отметился в новостях после того, как его личное состояние достигло отметки в 1 миллиард долларов.

https://twitter.com/Forbes/status/1167127276615622656

Особенности Alteryx:

• Повторяемые рабочие процессы
• Без программирования
• Развертываемая на собственных ресурсах аналитика
• Гибкость
• Масштабируемость

Alteryx пользуется популярностью благодаря возможностям работы без дополнительного программирования и простым возможностям все-таки использовать код. В компании утверждают, что их инструмент может превратить любого в дата сайентиста.

Alteryx используется в следующих отраслях:

• Финансовые услуги
• Здравоохранение
• Розничная торговля
• Транспорт и логистика
• Нефть и газ
• Государственные службы

Цена Alteryx Designer составляет 5,195 долларов США на пользователя в год. Однако если вы собираетесь добавить больше функций и возможностей, годовая цена может увеличиться:

• $11,700 за Alteryx Designer и Location Insights Dataset
• $33,800 за Alteryx Designer и Business Insight Dataset

Alteryx получил 5 из 5 от 61 респондента в Capterra и 4.5 из 5 звезд от 114 респондентов в G2 Crowd.

Apache Giraph — это инструмент для обработки графов с открытым исходным кодом, который изначально был разработан как конкурент Google Pregel. Это система используется Facebook для обработки и анализа социальных графов пользователей и их связей.

Этот инструмент, рекомендуется большинством экспертов в области больших данных, когда речь идет об установлении взаимосвязей между наборами данных.

Особенности этого инструмента отчетности:

• Работа с действительно большими наборами данных
• Ввод данных на многочисленных конечных точках
• Разделяемые агрегаторы
• Масштабируемость
• Быстрота
• Настраиваемость

Giraph в основном используется социальными сетями, такими как Facebook и Twitter, для анализа данных. Самая сильная сторона платформы — масштабируемость, которая делает его пригодным для работы с огромным количеством данных.

Giraph широко используется в социальных сетях, но также используется в следующих отраслях:

• Высшее образование
• Кадры и подбор персонала
• IT-сервисы
• Управленческий консалтинг
• Интернет / Социальные сети
• Маркетинг и реклама
• Строительство
• Финансовые сервисы

Цена программного обеспечения зависит от нескольких факторов и не раскрывается. Вам нужно связаться с Apache для индивидуального расчета цены.

Apache Giraph имеет рейтинг 4.3 из 5 звезд на G2 Crowd. Этот рейтинг составлен на оценке всего двух респондентов.

Идея Datapine — создание онлайн-отчетов без углубленных технических навыков. Платформа позволяет легко и просто создавать интерактивные информационные панели с помощью конструктора отчетов, объединяющего преимущества программного обеспечения для централизованного управления отчетами и облачного приложения.

Datapine позволяет пользователям исследовать, анализировать и создавать отчеты на основе своих данных с помощью всего нескольких кликов мыши и без необходимости какого-либо программирования. Результатами можно поделиться на визуальном дашборде, где уже можно будет создавать автоматические отчеты. Другие ключевые функции:

• Быстрое и простое подключение к данным
• Множество интерактивных функций
• Оповещения на основе ИИ
• Предиктивная аналитика и прогнозирование
• Несколько вариантов обмена отчетами (электронная почта, URL, собственные панели и т.д.)
• Высокие немецкие стандарты безопасности

Самое лучшее в Datapine это то, что вам нужно только подключить его к источникам данных, и вы за 10 минут уже сможете создавать отчеты и аналитические материалы.

Datapine применяется во множество различных отраслей, включая, например, розничную торговлю, производство, логистику, исследования рынка, цифровые медиа и здравоохранение.

Среди организаций, которые используют этот инструмент отчетности, — Техасский университет, Kreditech, Media Markt, Fog Creek Software и Axel Springer.

Datapine доступен бесплатно в течение 14 дней. После этого вы можете воспользоваться любым из четырёх тарифов:

• Основной
• Профессиональный
• Премиальный
• Брендирование и Внедрение

Datapine имеет рейтинг 4.5 из 5 звезд на Capterra.

BigML — это платформа, которая значительно упрощает машинное обучение для дата сайентистов, поскольку предоставляет уже разработанные алгоритмы и структуры. BigML может использоваться в облаке или локально.

BigML настоятельно рекомендуется профессионалами в области обработки данных. В приведенном ниже твите он занимает второе место в списке инструментов, которые вы должны знать или использовать, если вы увлекаетесь машинным обучением и искусственным интеллектом:

Среди особенностей BigML:

• Полноценная платформа машинного обучения
• Мгновенный доступ
• Интерпретируемые и экспортируемые модели
• Совместная работа
• Программируемая платформа
• Автоматизированная
• Гибкая

Главное в BigML то, что это полная и всесторонняя платформа машинного обучения. Это и делает ее популярной.

BigML используется в следующих отраслях:

• Фармацевтическая
• Авиационно-космическая
• Еда
• Энергетика
• Развлечения
• Финансовые Услуги
• IoT
• Здравоохранение
• Автомобильная промышленность
• Связь
• Транспорт

BigML предлагает два типа тарифных планов: Бесплатный и Прайм.

Бесплатный тариф: с бесплатной учетной записью дата сайентисты будут иметь доступ ко всем функциям в личных и образовательных целях. По этому плану разрешен только один пользователь, и у него или нее максимальный размер набора данных будет 16 МБ, допускается две параллельные задачи.

Прайм: владельцы платных тарифов имеют приоритет перед бесплатными. Их задачи приоритетнее, чем у бесплатных аккаунтов. Цены начинаются с 30 долларов в Стандартном плане и доходят до 10,000 долларов в Платиновом.

BigML имеет рейтинг 4.7 из 5 звезд на G2 Crowd при 25 респондентах.

D3.js — это JavaScript-библиотека, которая позволяет дата-инженерам создавать интерактивные визуализации для веб-браузеров. Она заменила фреймворк Protovis и работает на HTML5, CSS (каскадные таблицы стилей) и SVG (масштабируемая векторная графика).

Среди особенностей D3.js:

• Поддержка веб-стандартов
• Встроенный инспектор элементов
• Data-driven подход к манипулированию DOM
• Поддерживает очень большие наборы данных
• Гибкий и простой в использовании
• Переиспользуемый код

Как инструмент отчетности, D3 предоставляет платформу визуализации для ваших наборов данных. В D3.js замечательно то, что он модульный. Это означает, что вы можете загрузить только то, что хотите использовать, а не все библиотеки разом.

D3.js используется в различных отраслях: электронике, науке о данных, финансах и обслуживании потребителей. Поскольку этот инструмент основан на веб-стандартах, его используют и некоторые из сайтов:

• Urbandictionary.com
• Grammarly.com
• Vodafone.com
• Kin.naver.com
• Lenta.ru
• Baidu.com

D3 также используется в высшем образовании, такими профессорами, как Алекс Веллерштейн из Технологического института Стивенса. Вот пример проекта, над которым он работал, используя D3:

https://twitter.com/wellerstein/status/1173656293120315394

Поскольку D3.js является модульным, его разработчики тоже использовали модульный ценовой подход. Вам необходимо связаться с ними и сообщить свои требования, чтобы они могли составить для вас ценовое предложение.

D3.js имеет 4-звездочный рейтинг на Capterra у 5 респондентов и 4.4-звездочный рейтинг на G2 Crowd у 19 респондентов.

matlab или Matrix Laboratory — это вычислительная среда и язык программирования. Он позволяет инженерам по данным составлять графики функций и данных, манипулировать матрицами, создавать пользовательские интерфейсы, реализовывать алгоритмы и многое другое.

matlab может использоваться для множества задач — математических вычислений, моделирования, создание прототипов и симуляций, разработки алгоритмов, анализа данных, исследований и визуализации данных, а также разработки приложений.

matlab имеет большую библиотеку математических функций для:

• Линейной алгебры
• Нелинейных функций
• Статистики
• Анализа Фурье
• Численных интеграций
• Дифференциальных уравнений

Помимо этого, matlab упрощает построение 2D и 3D графиков, анализ данных и разработку приложений благодаря своей интерактивной среде и программному интерфейсу.

matlab используют более 3 миллионов человек по всему миру в нескольких отраслях, включая:

• Медицинское оборудование
• Гражданское строительство
• Компьютерное программное обеспечение
• Компьютерное железо
• Высшее образование
• Кадровое обеспечение и рекрутинг
• Авиация
• ИТ-сервисы

У matlab есть четыре тарифных плана, которые основаны на том, где и как будет использоваться это ПО. Это:

• Стандартный план для коммерческих организаций. В соответствии с ним у вас есть три варианта в зависимости от количества пользователей: Индивидуальный, Группа (группа людей будет использовать платформу по одному) и Одновременный (несколько пользователей могут одновременно обращаться к программному обеспечению). Стоимость бессрочной лицензии для стандартного индивидуального плана составляет 2,350 долларов, а годовой сбор составляет 940 долларов США.

• Образовательный план, предназначенный для школ или университетов. В нем существует четыре варианта в зависимости от того, как он будет использоваться. Лицензионный сбор начинается с 550 долларов США за бессрочную лицензию и 275 долларов США за годовую лицензию.
• Домашний — если вы планируете использовать matlab лично. Он стоит 95 долларов, и вы можете приобрести дополнения.
• Студенческий — для студентов, которые хотят использовать matlab для выполнения академических исследований и других учебных задач. Лицензия стоит 29 и 55 долларов за пакет.

matlab получил 4.5 звезды на Capterra и G2 Crowd, 1038 и 438 респондентов соответственно.

Это, прежде всего, инструмент визуализации данных, разработанный, в основном, для языка статистического программирования R.

Ggplot2 — это полноценный инструмент визуализации данных, с автоматической подсветкой данных, градиентом для разграничения положительных и отрицательных значений, сглаживанием и настройками сложных, но красивых графиков.

Он может легко превратить декартовы графы в полярные с помощью всего одного оператора. С ggplot2 вы можете использовать разные наборы данных и создать для них единые графики.

Ggplot2 имеет миллионы загрузок на Github, и большинство людей, которые скачивают его, являются специалистами по данным из технологических компаний, журналистами или даже правительственными работниками.

Оценка удовлетворенности пользователей в Financesonline Score составляет 96%.

Tableau — инструмент визуализации данных, который упрощает большие наборы данных и превращает их в простой для понимания формат. Даже технически не подкованные люди могут с помощью Tableau создавать информационные дашборды.

Наиболее важные особенности Tableau:

• Смешивание данных из разных источников
• Совместная работа в реальном времени
• Аналитика в реальном времени
• Создающиеся «на лету» отчеты
• KPI
• Дашборд
• Предиктивный анализ и анализ рентабельности
• Визуальная аналитика

Тысячи компаний по всему миру используют Tableau, и большинство из них относятся к следующим отраслям:

• Программное обеспечение
• Информационные технологии
• Здравоохранение
• Человеческие ресурсы
• Финансовые услуги
• Высшее образование
• Управленческий консалтинг
• Розничная торговля
• Маркетинг и реклама
• Управление некоммерческими организациями

Tableau предлагает три варианта цены. У них есть план для Отдельных лиц, для Команд и организаций, а также для Встроенной аналитики.

• Физические лица: Tableau Creator для частных лиц начинается от 70 долларов на пользователя в месяц при оплате за год.
• Для команд и организаций Tableau предлагает больше продуктов. Помимо Tableau Creator, существует также Tableau Explorer, который позволяет пользователям просматривать данные и вносить изменения (35 долларов за пользователя в месяц), Tableau Viewer, который позволяет пользователям только просматривать созданные дашборды (от 12 долларов за пользователя в месяц). Если вы решите использовать инструменты непосредственно в Tableau, а не в своей сети, то цены возрастут до 42 и 15 долларов за Tableau Explorer и Tableau Viewer соответственно.
• Встроенная аналитика позволяет организациям предоставлять аналитику своим клиентам. Цена на встроенную аналитику в Tableau предоставляется по запросу.

В Capterra у Tableau 4.5 из 5 звезд при 1091 респонденте. С другой стороны, он имеет рейтинг 4.4 звезды на G2 Crowd от 691 респондента.

Jupyter предлагает платформу создания отчетов для Jupyter Notebook и Jupyter Lab. Project Jupyter — это некоммерческая организация, которая изначально была дочерней компанией IPython, но позже сосредоточилась на разработке программ с открытым исходным кодом для «интерактивных вычислений на десятках языках программирования».

Основными особенностями Jupyter являются:

• Быстрый интерфейс
• Простота в обучении и использовании
• Совместимость с несколькими языками программирования
• Программирование в браузере и в нем же форматирование текста
• Автоматическая подсветка синтаксиса
• Возможность отображения результатов вычислений с использованием HTML, PNG, SVG и других файлов.

Благодаря этим функциям Jupyter легко стал «вычислительным блокнотом для дата сайентистов».

Отрасли промышленности, использующие Jupyter, варьируются от программного обеспечения и страхования до коммуникаций и науки о данных. Некоторые из компаний, которые используют приложение:

• Intuit
• SoFi
• SendGrid
• Checkr
• AgFlow
• Policygenius
• MD Insider

Project Jupyter не предоставляет информацию о ценах, но вы можете начать работу с приложением, просто установив его на свой компьютер.

На G2 Crowd Jupyter Notebook получил оценку 4.5 из 5 звезд у 80 респондентов.

Matplotlib — библиотека для рисования, которая использует Python 2D. С помощью Matplotlib пользователи могут создавать гистограммы, столбцовые и круговые диаграммы, графики ошибок и все прочие графики, используя всего лишь несколько строк кода. Это средство визуализации данных может использоваться в нескольких средах, таких как Python, IPython, Jupyter notebook и в других программах.

Самое большое преимущество Matpotlib — это удобство для пользователей, его могут использовать даже новички в программировании. Построение графиков в Matplotlib стало простым благодаря модулю pylot, который помогает пользователям в построении графиков.

Matplotlib используется в нескольких отраслях, включая информационные технологии, программное обеспечение, управление персоналом, финансовые услуги, розничная торговля, маркетинг и реклама.

Matplotlib можно использовать бесплатно.

Приложение имеет 4-звездочный рейтинг от 6 респондентов на G2 Crowd.

NLTK — платформа, которая предлагает простые интерфейсы для более чем 100 текстовых и лексических ресурсов, а также предоставляет набор библиотек для обработки текста. Используется при создании программ на Python

Преимущество NLTK в качестве платформы для анализа текста заключается в том, что он включает в себя обширную библиотеку алгоритмов для работы с естественными языками. Он может выделять части речи, проводить токенизацию, анализ настроения и сегментацию тем.

NLTK относится к категории «Обработка естественного языка», и среди отраслей, которые его используют:

• Высшее образование
• Программное обеспечение
• Информационные технологии и сервисы
• IoT
• HR
• Авиационно-космическая отрасль
• Бытовая электроника

NLTK — это бесплатная платформа с открытым исходным кодом, которая опирается на работу своего сообщества.

NLTK оценили в 4.5 звезды в рейтинге G2 Crowd.

Scikit-learn — это библиотека машинного обучения для Python. Она построена на SciPy, NumPy и matplotlib и также является ПО с открытым исходным кодом. Компании могут использовать его по лицензии BSD.

Некоторые исследователи данных называют Scikit-learn лучшим инструментом для машинного обучения, поскольку он обладает следующими особенностями:

• Имеет инструменты настройки гиперпараметров, такие как GridSearchCV и RandomSearchCV
• Предоставляет инструменты для предварительной обработки
• Умеет работать с регрессией

Помимо регрессии, Scikit-learn также позволяет пользователям классифицировать, кластеризовать, выполнять уменьшение размерности, выбирать модели и производить предварительную обработку.

Scikit-learn широко используется в различных направлениях, включая фондовый рынок, бронирование гостиниц, потоковые музыкальные сервисы, исследования рынка и все остальное, требующее прогнозирования поведения потребителей.

Scikit-learn является бесплатным для использования и подпадает под действие лицензии BSD.

Scikit-learn имеет рейтинг 4.8 звезды на G2 Crowd, его оценил 41 респондент.

TensorFlow был разработан командой Google Brain для внутреннего использования, а позднее, в ноябре 2015 года, выпущен под лицензией Apache License 2.0.

Это бесплатная математическая библиотека с открытым исходным кодом, подходящая для машинного обучения. Исследователи могут использовать TensorFlow для создания high-end приложений машинного обучения. В то же время разработчики могут создавать приложения машинного обучения на основе TensorFlow.

Особенности TensorFlow:

• Комплексный набор инструментов и библиотек для создания больших нейронных сетей
• Простая и гибкая архитектура
• Возможность использовать высокоуровневые API, такие как Keras

За этим библиотекой стоит большое сообщество разработчиков и исследователей.

TensorFlow уже имеет готовые модели и подсистемы, которые можно комбинировать с использованием Python-скриптов.

TensorFlow используется транснациональными корпорациями, такими как LinkedIn, Coca Cola, Airbnd, GE Healthcare, Intel, PayPal и Twitter. TensorFlow используется для работы:

• Социальных сетей
• Облачных хранилищ данных
• Интернета
• Электронной торговли
• Компьютерного железа
• Программного обеспечения

TensorFlow можно использовать бесплатно под лицензией Apache 2.0.

TensorFlow получил оценку 4.5 из 5 звезд как в G2 Crowd, так и в Capterra, с 38 и 66 отзывами соответственно.

Weka или Waikato Environment for Knowledge Analysis — пакет машинного обучения, написанный на Java, что делает его простым и настраиваемым для любого внедрения.

Weka предоставляет широкий выбор инструментов визуализации данных, что делает его эффективным инструментом создания отчетов. Он также предоставляет алгоритмы для анализа данных, к которым легко получить доступ благодаря графическим пользовательским интерфейсам, которые поставляются в комплекте.

Наиболее привлекательным аспектом Weka является то, что он доступен бесплатно под лицензией GNU General Public License. Его графические интерфейсы делают Weka простым в использовании и понимании, и, поскольку он написан на Java, он может работать на любой современной платформе.

Weka подходит для решения задач интеллектуального анализа данных — предварительной обработки, классификации, регрессии и визуализации.

Среди отраслей, которые используют Weka — розничная торговля, финансовые услуги и биотехнологии.

Weka может свободно использовать в соответствии с GNU General Public License.

У Weka оценки 4.5 и 4.4 на Capterra и G2 Crowd, 8 и 12 респондентов соответственно.

Apache Hadoop используется в качестве инструмента распределенной обработки больших данных. Это, прежде всего, платформа, которая может использоваться при обработке больших наборов данных в распределенной среде. Apache Hadoop — мощное хранилище, которое позволяет пользователям выполнять обработку действительно больших данных.

Сильные стороны Apache Hadoop заключаются в его основных компонентах:

• Hadoop YARN: система планирования и управления, которая соответствующим образом планирует распределение ресурсов между различными кластерами.
• Распределенная файловая система Hadoop или HDFS: HDFS — кластерная система хранения файлов с высокой пропускной способностью. Она может хранить любые данные в их оригинальном формате, независимо от их источника.
• Hadoop MapReduce: программируемая модель для распределенной обработки больших наборов данных. Данные передаются мепперам в небольших количествах, а затем они поступают в редукторы, которые объединяют их в осмысленные ответы.

Отрасли, которые используют Apache Hadoop:

• Программное обеспечение
• Высшее образование
• Финансовые сервисы
• Информационные технологии
• HR
• Здравоохранение
• Интернет
• Телекоммуникации

Некоторые из компаний, которые используют Apache Hadoop — Wipro, TouchCommerce, Zipcar и Conversant Media.

Hadoop можно загрузить и использовать бесплатно, поскольку это программное обеспечение с открытым исходным кодом. Тем не менее, доступны коммерческие версии и дистрибутивы Hadoop.

Apache Hadoop получил 8.3 из 10 на Trust Radius и 8.4 на Predictive Analysis Today.

На Capterra и G2 рейтинга Apache Hadoop нет, хотя он широко используется компаниями из разных секторов. По данным Enlyft, это программное обеспечение использует более 30,000 компаний.

Apache HBase может работать с огромными таблицами данных с миллиардами строк и миллионами столбцов. Это открытая, версионная и распределенная нереляционная база данных, разработанная как копия Bigtable Google. С Apache HBase вы можете получать доступ к большим данным в режиме реального времени, в любом месте.

Возможности Apache HBase (как написано на сайте):

• Линейная и модульная масштабируемость
• Целостное чтение и запись
• Автоматический и настраиваемый шардинг таблиц
• Автоматическая поддержка отработки отказов между RegionServers
• Удобные базовые классы для поддержки заданий Hadoop MapReduce в таблицах Apache HBase
• Простой в использовании Java API для клиентского доступа.
• Блокируемый кеш и фильтры Блума для запросов в реальном времени
• Предикативный пуш запросов через серверные фильтры
• Шлюз и REST-ful веб-сервис, поддерживающие XML, Protobuf и опции кодирования двоичных данных
• Расширяемая оболочка на основе jruby (JIRB)
• Поддержка экспорта метрик через подсистему Hadoop в файлы или Ganglia; или через JMX

Apache HBase используется в следующих отраслях:

• Программное обеспечение
• Компьютерное железо
• Информационные технологии
• Найм, кадры и рекрутинг
• Финансовые сервисы
• Управленческий консалтинг
• Здравоохранение
• Высшее образование

Вы можете скачать любую версию Apache HBase с сайта.

Инструмент оценивается 4.2 из 5 звезд на G2 Crowd.

Apache Hive обеспечивает выполнение запросов и анализ данных для программного обеспечения, созданного при помощи Apache Hadoop или работающего с ним. Предоставляет интерфейс, подобный SQL.

Особенности Apache Hive:

• Поддерживает анализ больших наборов данных
• Предоставляет индексы для ускорения запросов
• Совместим с Amazon S3, Alluxio и другими файловыми системами
• Поддерживает различные типы хранения, такие как обычный текст, ORC и HBase.

Более четырех тысяч компаний по всему миру используют Apache Hive. Эти компании относятся к следующим отраслям:

• Программное обеспечение
• Информационные технологии
• Кадры и рекрутинг
• Финансовые Услуги
• Больницы и здравоохранение
• Страхование
• Высшее образование

Apache Hive можно использовать бесплатно под лицензией Apache 2.0.

Hive имеет рейтинг 4.2 звезды на G2 Crowd.

Apache Kafka — распределённый программный брокер сообщений. Спроектирован как распределённая, горизонтально масштабируемая система, обеспечивающая наращивание пропускной способности как при росте числа и нагрузки со стороны источников, так и количества систем-подписчиков. Подписчики могут быть объединены в группы. Поддерживается возможность временного хранения данных для последующей пакетной обработки. Одной из особенностей реализации инструмента является применение техники, сходной с журналами транзакций, используемыми в системах управления базами данных.

Apache Kafka можно использовать для обмена сообщениями, отслеживания активности на сайтах, агрегирования логов, метрик, обработки потоков и множества других задач.

Apache Kafka является масштабируемым, надежным и стабильным. Другие особенности Kafka:

• Репликация событий
• Высокая скорость
• Гарантированное нулевое время простоя
• Гарантированная нулевая потеря данных
• Высокая пропускная способность
• Может справиться со сбоями
• Может обрабатывать большие потоки данных

Apache Kafka используется во множестве отраслей, включая программное обеспечение, информационные технологии, управление персоналом, финансовые сервисы, управленческий консалтинг, больницы и здравоохранение, высшее образование и интернет.

Некоторые из наиболее известных компаний, которые его используют, — JPMorgan Chase, Uber Technologies, HP Enterprise Company и Walker Digital Table Systems.

У Apache Kafka открытый исходный код и его можно скачать бесплатно. Также доступны платные дистрибутивы.

Kafka получил оценку 4.3 из 5 на G2 Crowd.

Apache Storm — это распределенная система вычислений в реальном времени, которая доступна бесплатно с открытым исходным кодом. С помощью Apache Storm вы можете надежно обрабатывать огромное количество потоков данных. Среди примеров использования Apache Storm — машинное обучение, аналитика в реальном времени и распределенный вызов процедур (RPC).

Преимущество использования Apache Storm в том, что он совместим с любым языком программирования, так как он очень простой и легкий в использовании. Storm также может интегрироваться с любыми базами данных и системами запросов, и работает очень быстро. Его скорость превышает миллион кортежей в секунду на узел.

Apache Storm масштабируем и отказоустойчив. Вам не придется беспокоиться о том, что он потеряет какие-то данные, платформа гарантирует, что все ваши данные будут обработаны.

Apache Storm широко используется в нескольких отраслях — программное обеспечение, информационные технологии, кадры и подбор персонала, образование, финансовые услуги и здравоохранение.

Twitter, Baidu, Wayfair и Alibaba — лишь некоторые компании, которые используют это программное обеспечение для своих вычислений.

Apache Storm — бесплатное приложение с открытым исходным кодом.

Двенадцать респондентов оценили Apache Storm на 3.8 звезды на G2 Crowd.

Apache Pig – это высокоуровневый процедурный язык, предназначенный для выполнения запросов к большим слабо структурированным наборам данных с помощью платформ Hadoop и MapReduce. Pig упрощает использование Hadoop, позволяя выполнять SQL-подобные запросы к распределенным наборам данных. Характерным свойством программ Pig является то, что их структура поддается существенному распараллеливанию, что в свою очередь позволяет с его помощью обрабатывать очень большие наборы данных.

Apache Pig на своем сайте описывает три основных преимущества:

• Простота программирования: основным языком, который использует Apache Pig, является Pig Latin, который похож на SQL, поэтому он многим знаком
• Возможности оптимизации: выполнение задач оптимизируется автоматически, поэтому разработчикам нужно сосредоточиться только на семантике языка
• Расширяемость: пользователи могут создавать свои собственные функции, которые могут читать, обрабатывать и записывать данные

Самое лучшее в Apache Pig — то, что он может анализировать все виды данных, будь то структурированные или неструктурированные.

Apache Pig используется компаниями Hortonworks Inc., Comscore Inc., SalesHandy, The MITER Corporation и другими компаниями в следующих отраслях:

• Программное обеспечение
• Информационные технологии
• Финансовые услуги
• Образование
• Человеческие ресурсы
• Телекоммуникации
• Страхование
• Больницы и здравоохранение
• Розничная торговля

Apache Pig — проект с открытым исходным кодом в рамках Apache Software Foundation и всех призывают принять участие в его разработке.

Инструмент имеет рейтинг 3.9 звезды на G2 Crowd, оставлено 17 отзывов.

Apache Mesos — это централизованная отказоустойчивая система управления кластером. Она разработана для распределенных компьютерных сред c целью обеспечения изоляции ресурсов и удобного управления кластерами подчиненных узлов. Он использует те же принципы, что и ядро Linux, но Apache Mesos работает на каждой машине и предоставляет приложениям API для управления ресурсами и планирования, как в физических, так и в виртуальных средах.

Среди особенностей Apache Mesos:

• Линейная масштабируемость
• Высокая доступность
• Нативная поддержка для контейнеров
• Поддержка изоляции для процессора, диска, портов, графического процессора и памяти
• Двухуровневое планирование
• HTTP API
• Встроенный веб-интерфейс для пользователей
• Работает на Linux, OSX и Windows

В число компаний, использующих Mesos, входят HubSpot Inc., Twitter Inc., ISHI systems INC., Mesosphere и многие другие. Эти компании работают в отраслях ПО, информационных технологий, управления персоналом, финансовых сервисов, интернета, компьютерного оборудования, розничной торговли, высшего образования и телекоммуникаций. Есть и правительственные учреждения, которые используют этот инструмент.

Mesos — ПО с открытым исходным кодом и его можно бесплатно загрузить с сайта.

Apache Mesos получил 4 звезды в рейтинге G2 Crowd, составленный по мнению 16 респондентов.

Целью Apache Software Foundation при разработке Apache Mahout была бесплатная реализация алгоритмов распределенного машинного обучения, связанных с кластеризацией данных, классификацией и совместной фильтрацией.

Mahout также содержит Java-библиотеки для функций линейной алгебры и статистики. Большинство реализаций использует платформу Apache Hadoop, хотя все еще существует ряд не внедренных алгоритмов.

Известные особенности Mahout:

• Поскольку Mahout работает поверх Apache Hadoop, он может эффективно масштабироваться даже в облаке. Он также отлично работает в различных распределенных средах.
• Mahout позволяет быстро и эффективно анализировать большие наборы данных
• Разработчик уже имеет встроенный фреймворк для масштабных задач интеллектуального анализа данных
• Mahout предлагает k-means, Dirichlet, Canopy, fuzzy и другие реализации кластеризации с поддержкой MaReduce
• Mahout также имеет встроенные инструменты для работы с матрицами и библиотеками

Facebook, LinkedIn, Rang Technologies, Twitter, LucidWorks, Yahoo и Foursquare — лишь некоторые из компаний, которые используют Apache Mahout. Большинство компаний, которые используют Mahout, принадлежат к различным отраслям — разработке программного обеспечения и компьютерного оборудования, кадровым ресурсам, финансовым услугам, здравоохранению или управленческому консалтингу.

Apache Mahout можно использовать бесплатно по лицензии Apache 2.0.

Инструмент получил 4.3-звездочный рейтинг на G2 Crowd, всего проставлено 11 оценок.

RapidMiner — комплексная платформа обработки данных, которая обеспечивает совместную работу и прозрачность машинного обучения. Ранее он был известен как YALE или Yet Another Learning Environment. Программное обеспечение предоставляет целостную среду для дата сайентисов — для подготовки данных, машинного обучения, глубокого обучения и предиктивного анализа.

RapidMiner основан на трех «китах», которые обеспечивают полную прозрачность и управляемость машинным обучением. Это:

• Доверие: унифицированная платформа обеспечивает прозрачность от происхождения и трансформации данных, выбора и проверки моделей, до развертывания и оптимизации
• Простота настройки: в нем более 1500 визуальных блоков для построения алгоритмов машинного обучения, которые ученые и разработчики данных могут легко изменить
• Объяснимость: платформа RapidMiner автоматизирована и позволяет пользователям визуально создавать аналитику и рабочие процессы

Отрасли, которые используют RapidMiner:

• ПО
• Высшее образование
• ИТ и сервисы
• Кадры и рекрутинг
• Больницы и здравоохранение
• Финансовые сервисы
• Управленческий консалтинг
• Телеком
• Маркетинг и реклама

RapidMiner имеет пять различных тарифных планов:

• RapidMiner Studio — визуальный дизайнер рабочих процессов. От 5,000 до 10,000 долларов на пользователя в год.
• RapidMiner Server (On-Premise) позволяет организациям совместно создавать и использовать прогностические модели, автоматизировать процессы и развертывать модели на своих ресурсах. Годовой план начинается от 36,000 долларов.
• RapidMiner Server (Cloud) предоставляет предварительно настроенную серверную среду в Microsoft Azure или AWS. Цена начинается с 7 долларов в час.
• RapidMiner Real Time Scoring — дополнение к RapindMiner Server, стоимость составляет 36,000 долларов в год
• RapidMiner Radoop является альтернативой Hadoop и Spark по цене 5,000 долларов за пользователя в год.

RapidMiner предлагает скидки для студентов и некоммерческих организаций, а также предлагает бесплатную пробную версию своей основной программы.

RapidMiner получил 4.5 звезды на G2 Crowd и на Capterra по мнению 320 и 16 респондентов соответственно.

DataRobot — автоматизированная платформа искусственного интеллекта, подходящая для дата сайентистов всех уровней квалификации. Этот инструмент также предназначен для бизнес-аналитиков, руководителей компаний, разработчиков программного обеспечения и ИТ-специалистов и призван сделать машинное обучение максимально простым.

DataRobot позволяет пользователям быстро создавать и развертывать точные предиктивные модели, автоматизируя большинство задач.

DataRobot выделяется своей самовосстанавливающейся распределенной архитектурой, обширной экосистемой алгоритмов и широким набором инструментов визуализации. Помимо этого, DataRobot имеет следующие особенности:

• Создание кластера Hadoop в режиме plug and play
• Интеграция систем безопасности предприятий
• Простота использования
• Высока скорость
• Распределенная архитектура
• Точность данных
• Подготовка данных

Несколько отраслей используют DataRobot в своих процессах машинного обучения и создания искусственного интеллекта. Вот некоторые из этих отраслей:

• Банковское дело
• Здравоохранение
• Страхование
• Финансовые технологии
• Производство
• Розничная торговля
• Маркетинг
• Правительство
• Спорт

DataRobot не разглашает своих цен, но вы можете связаться с ними, чтобы получить расценки или запланировать демонстрацию.

DataRobot имеет 5-звездочный рейтинг на Capterra и 4.4 звезды на G2 Crowd.

Qubole — платформа самостоятельной работы с большими данными, специально предназначенная для машинного обучения, анализа данных и искусственного интеллекта. Она построена на Amazon, Google, Microsoft и Oracle Clouds командой, которая также основала Apache Hive.

С помощью Qubole ученые могут обрабатывать большие кластеры данных в любом общедоступном облаке и создавать запросы менее чем за пять минут. Он создан для тех, кто использует данные, и поэтому создан простым. Существует несколько способов доступа к данным, включая веб-интерфейс, блокноты, API или даже сторонние инструменты бизнес-аналитики.

Qubole оптимизирован для облачных вычислений и может служить единой платформой для обработки данных и формирования отчетов, обработки потоковых данных, машинного обучения.

Инструмент работает на инфраструктуре Microsoft Azure, AWS и Oracle Cloud, поэтому вы можете наслаждаться масштабируемостью и эластичностью облака.

Отрасли, в которых используется Qubole:

• Бизнес-услуги
• Финансовые Услуги
• СМИ и интернет
• Розничная торговля
• Телекоммуникации
• Здравоохранение
• Развлечения
• Потребительские сервисы

У Qubole есть только один тарифный план Qubole Data Platform — Enterprise Edition, цена которого составляет $0.14 за QCU (Qubole Compute Unit) в час. Пакет включает в себя поддержку премиум-класса и адаптивную серверную архитектуру.

У вас также есть возможность попробовать Qubole бесплатно с любым из этих вариантов:

• Бесплатный тест-драйв. Предоставляет тестовую среду для одного пользователя на срок до двух недель. Также предоставляется тестовый дата-сет.
• Бесплатная полнофункциональная пробная версия. Вы должны использовать свою собственную учетную запись для подключения к облачной инфраструктуре и использовать свои собственные данные. Вы можете пользоваться всеми функциями Qubole — до пяти человек могут использовать инструмент в течение одного месяца и до 5,000 QCU.

Qubole имеет 5-звездочный рейтинг на Capterra и 4-звездочный рейтинг на G2 Crowd на основе 234 отзывов.

Paxata — приложение для подготовки данных и платформа машинного обучения. Проект должен устранить трудности, связанных с превращением необработанных сырых данных в структурированную и полезную информацию. Таким образом, Paxata уменьшает усилия и время, затрачиваемое на подготовку данных, от сбора, исследования, до очистки и формирования.

Особенности Paxata:

• Интеграция: Paxata может интегрироваться с другими BI-инструментами. Также доступны SSO и API интеграции.
• Поддержка: Paxata предлагает руководства, онлайн-обучение и курсы обучения на сайте
• Интеллектуальная автоматизация
• Интеллектуальное подключение к данным
• Быстрое профилирование данных
• Интеллектуальное обнаружение пересечений
• Автоматическое управление и встроенный каталог
• VPN для подключения к локальным данным

Paxata использует во многих отраслях, вот некоторые из них:

• Финансовые сервисы
• Розничная торговля
• Фармацевтика
• Государственный сектор
• Технологии
• Здравоохранение

Paxata предлагает бесплатную пробную версию своего программного обеспечения в течение 14 дней. Эта бесплатная пробная может работать с 500 тысячами строк и предлагает все основные функции. Ниже представлены платные пакеты Paxata:

• Paxata Professional: цена этого плана начинается с 360 долларов в месяц — это до миллиона строк и до пяти источников данных. Цена повышается в зависимости от количества строк или гигабайт данных.
• Paxata Enterprise: для этого плана пользователи могут получать данные из неограниченного числа источников, и допускает любое количество пользователей. План начинается от миллиона строк. Вы должны связаться с Paxata, чтобы получить расценки.

Paxata получил 7.7 из 10 у Predictive Analysis Today. На Capterra и G2 Crowd оценок для Paxata нет.

Trifacta — платформа, которая ускоряет обработку данных, превращая необработанные данные в полезные и значимые выводы. Ее можно использовать с любой облачной платформой, включая AWS, Microsoft Azure, Snowflake или Google Cloud.

Особенности Trifacta:

• Фреймворк подключения к данным
• Инновационно-дружественный
• Интерактивное исследование данных
• Предиктивная трансформация
• Интеллектуальное выполнение
• Совместное управление данными

Trifacta используется в различных отраслях, включая техническую, финансовую, бизнес-услуги, производство, розничную торговлю, страхование, здравоохранение и больницы, образование, телекоммуникации и транспорт.

Среди компаний, которые используют Trifacta, — JPMorgan Chase, Bank of America, Advantage, IQVIA и Mattel.

Trifacta предлагает три тарифных плана: Trifacta Wrangler, Trifacta Wrangler Pro, Trifacta Wrangler Enterprise. Первый пакет бесплатен для 100 МБ и ограничен в функционале. План Pro, с другой стороны, начинается с 419 долларов в месяц на пользователя. Включает в себя все основные функции. Корпоративный пакет включает в себя все функции, включая обучение на сайте, и вы должны связаться с компанией, чтобы получить расценки.

У Trifacta 4.5 звезды на G2 Crowd.

Redis — резидентная система управления базами данных класса NoSQL с открытым исходным кодом, работающая со структурами данных типа «ключ — значение». Используется как для баз данных, так и для реализации кэшей, брокеров сообщений. Redis может поддерживать различные структуры данных, включая хэши, строки, списки, наборы, растровые изображения и индексы.

Особенности Redis:

• Надежное и большое хранилище
• Стабильный
• Масштабируемый
• Безопасный
• Позволяет манипулировать данными

Redis используется бизнесос, финансам, СМИ и в интернете, на производствах, в розничной торговле, телекоммуникациях, образовании, развлечениях и здравоохранении.

Redis может свободно использовать под лицензией BSD.

Redis имеет рейтинг 4.4 на G2 Crowd с 76 респондентами и 5 звезд на Capterra с 39 респондентами.

Lumen Data — платформа управления информацией, которая использует поэтапный подход в рамках своей методологии, основанной на MDM. Компания предоставляет продукты, а также консультационные услуги для:

• Предиктивного анализа
• Стратегии данных
• Управления данными
• Проверки качества данных
• Переноса данных
• Интеграции данных

Ключевые особенности Lumen Data:

• Экспертиза в управлении корпоративными данными
• Управление данными и качеством данных
• Готовые интеграции
• Облачная экспертиза

Среди отраслей, в которых используются продукты и услуги Lumen Data, финансовые услуги, производство, образование, наука, розничная торговля и телекоммуникации.

Цены Lumen Data выдает по запросу, поэтому вам необходимо связаться с ними для понимания ситуации.

На Capterra или G2 Crowd оценок нет.

Excel — самый традиционный способ составления отчетов, хотя он и очень ограничен. Несмотря на то, что за прошедшие годы появилось много других инструментов, для работы с Excel разработано множество расширений.

Ниже некоторые из них.

Domo поможет вам превратить Excel в мощную платформу для визуальной аналитики. Решение позволяет вам работать совместно с другими членами команды в режиме реального времени.

XLCubed использует формат представления Excel и механизмы расчетов, но также превращает Excel в базу данных, которую компании могут напрямую подключать к своим данным. Это дает пользователям больше гибкости, чем простой и чистый Excel.

Наконец, есть InetSoft Style Intelligence, который может превратить Excel в инструмент отчетности Business intelligence. Он делает Excel более гибким, поскольку улучшает исследование данных и позволяет сопоставлять данные не только из Excel, но также из Google Adwords и Analytics, Salesforce и других баз данных.

MLBase — это пакет Julia, который предоставляет различные инструменты для машинного обучения. Это очень полезная библиотека для дата сайентистов и разработчиков в случае, когда они пишут свои собственные модели машинного обучения.

MLBase является частью Berkeley Data Analytics Stack (BDAS) вместе с Apache Spark. Инструмент состоит из трех компонентов, а именно:

• ML Optimizer, который автоматизирует создание конвейера машинного обучения.
• MLI — API для разработки алгоритмов. Он также предлагает функции для высокоуровневых вычислений.
• MLlib — библиотека машинного обучения для Apache Spark, которую также использует MLBase.

Компоненты, обсужденные выше, дают MLBase следующие возможности:

• Проверка данных по различным алгоритмам обучения и понимание, какая модель является наиболее подходящей с точки зрения точности
• Простой и интуитивно понятный графический интерфейс для машинного обучения и программирования
• Масштабируемость и способность эффективно обрабатывать огромные массивы данных.

Как и Apache Spark, MLBase используется в самых разных сферах, таких как программное обеспечение, ИТ и ИТ-сервисы, кадры и рекрутинг, высшее образование, финансовые услуги, здравоохранение, а также управленческий консалтинг.

MLBase является open source продуктом, и нет никакой информации о том, распространяется ли пакет за деньги.

MLBase имеет 4 звезды на G2 Crowd.

Microsoft Azure Machine Learning Studio предоставляет среду коллективного и визуального машинного обучения, где пользователи даже без навыков программирования могут легко создавать, тестировать и изменять свои модели предиктивного анализа.

Пользователи могут просто перетаскивать наборы данных и модули анализа на холсте Azure ML. Эти наборы данных и модули соединяются и формируют эксперимент, который выполняется в Machine Learning Studio.

Если вы хотите изменить модель, то просто отредактируйте эксперимент и запустите его снова. Учебный эксперимент может быть преобразован в готовую прогностическую модель, которую можно опубликовать в виде веб-службы, доступной для других людей.

Самая сильная сторона этого инструмента — его drag-and-drop функциональность с перетаскиванием готовых блоков для создания экспериментов. Студия совсем не требует навыков программирования, так что даже новички в данных и без опыта разработки смогут использовать этот инструмент.

Другие интересные функции Microsoft Azure ML Studio:

• Возможность обрабатывать большие наборы данных и создавать большие проекты
• Нет ограничений на импорт данных
• Простой и удобный инструмент с неограниченными функциональными возможностями
• Возможность публикации экспериментов в виде веб-сервисов
• Эксперименты могут выполняться за несколько минут
• Ваши данные защищены мерами безопасности Azure
• Алгоритмы быстрые, что позволяет получать прогнозы в реальном времени

В число ведущих компаний, которые используют Azure Machine Learning Studio, входят Nigel Frank International Ltd, MAQ LLC, KiZan Technologies и, конечно же, корпорация Microsoft. Большинство компаний относятся к следующим отраслям:

• Программное обеспечение
• Информационные технологии
• Кадры
• Управленческий консалтинг
• Финансовые услуги
• Образование
• Компьютерное железо

Azure Machine Learning Studio можно использовать бесплатно со следующими ограничениями:

• Максимальное количество модулей в эксперименте — 100
• Максимальная продолжительность экспериментов — 1 час
• Максимально допустимое дисковое пространство — 10 ГБ
• Разрешена только одна нода
• Нет веб-API

С другой стороны, стандартный план допускает неограниченное количество модулей и места для хранения, несколько нод и эксперименты могут продолжаться до семи дней. Его цена составляет 9.99 доллара за рабочее место в месяц и 1 долл. США в час за проведения экспериментов в Студии.

Стандартный план включает в себя возможность развертывания ваших экспериментов в виде веб-службы, но это требует дополнительных затрат, которые начинаются со 100.13 и доходят до 9,999.98 долларов.

Azure Machine Learning Studio имеет рейтинг 4.4 и 4.5 звезд на G2 Crowd и Capterra.

MLJAR — платформа машинного обучения для разработки, прототипирования и развертывания алгоритмов распознавания шаблонов. Она направлена на изучение различных моделей в каждом алгоритме обработки данных, поэтому работает относительно медленно по сравнению с другими платформами машинного обучения.

MLJAR предоставляет один интерфейс для множества алгоритмов, встроенный поиск гиперпараметров, интеллектуальные настройки по умолчанию для параметров, облачный доступ с использованием REST API и возможность создания прогнозов.

Компании, которые используют MLJAR, принадлежат к разным отраслям, таким как программное обеспечение и компьютерное оборудование, кадры, финансы, образование и информационные технологии.

MLJAR предлагает бесплатный тариф, на котором вам дается один компьютер, 30 дней в истории проекта и ограничение набора данных 0.25 ГБ. Платные уровни с неограниченной историей и возможностью работы в облаке MLJAR:

• Профессиональный: 199 долларов в месяц на 4 машины, лимит для данных в 1 ГБ и неограниченная история проекта
• Стартап: 499 долларов в месяц для 8 машин и 2 ГБ набора данных
• Бизнес: 999 в месяц на 12 машин и 4 ГБ
• Организация: для этого плана цена не указана, но она включает в себя неограниченное количество компьютеров и ограничение набора данных 32 ГБ

У MLJAR на G2 Crowd и Capterra нет доступных рейтингов.

Amazon Lex — платформа, которая позволяет пользователям встраивать диалоговые голосовые и текстовые интерфейсы в любое приложение. Благодаря функциям глубокого обучения, связанным с ASR (автоматическое распознавание речи) и NLU (понимание естественного языка), вы можете преобразовывать речь в текст и понимать намерения пользователей — разрабатывать приложения, которые имеют высокий уровень вовлеченности и поддерживающих разговоры, похожие на реальные.

Amazon Lex построен по тем же технологиям глубокого обучения, что Amazon использовал и для Alexa, с ним любой человек может разрабатывать разговорные боты.

Наиболее интересные особенности Amazon Lex:

• Простой в использовании.
• Встроенная интеграция с AWS
• Бесшовное развертывание и масштабируемость
• Экономически эффективный

В число компаний, которые используют Amazon Lex, входят Liberty Mutual, KloudGin, RedAwning, Dynatrace, Rubrik, Astro, Infor Coleman, BuildFax, Kelley Blue Book, NASA и Американская ассоциация кардиологов.

Эти компании относятся к широкому кругу отраслей — страхование, автомобилестроение, компьютерное программное обеспечение, телекоммуникации и государственный сектор.

Как и другие сервисы AWS, Amazon Lex выставляет цены за одно использование:

• 0.004 доллара за каждый голосовой запрос
• 0.00075 доллара за каждый текстовый запрос

По оценке 29 респондентов G2 Crowd, Amazon Lex получил рейтинг 4.3 звезды.

IBM Watson Studio — инструмент совместной работы для очистки и формирования данных, анализа и визуализации, создания моделей машинного обучения.

IBM перечисляет следующие преимущества IBM Watson Studio:

• Принесите алгоритмы туда, где находятся данные
• Повысьте производительность всей вашей команды дата сайентистов
• Формализация жизненного цикла науки о данных
• Развертывание в гибридных, мультиоблачных средах
• Доступно в IBM Cloud Pak

По данным Enlyft, IBM Watson Studio занимает 25% рынка машинного обучения. Основными отраслями, которые используют Watson Studio, являются программное обеспечение, здравоохранение, информационные технологии и сервисы, высшее образование, подбор персонала и финансовые услуги.

IBM Watson Studio доступна в трех вариантах:

• Watson Studio Cloud: позволяет вам подготовить данные в управляемой среде IBM Cloud. Цена начинается от 99 долларов в месяц за 50 часов и доходит до 6,000 долларов в месяц за 5,000 часов.
• Watson Studio Desktop: этот тариф предназначен для тех, кто хочет выполнять операции по обработке данных на настольных компьютерах, работающих на Mac или Windows. Цена составляет 199 долларов в месяц за авторизованного пользователя. Доступна 30-дневная бесплатная пробная версия.
• Watson Studio Local: команды и предприятия, работающие с данными, могут развернуть инструменты визуализации и исследования данных с открытым исходным кодом в собственной сети. Надо связаться с IBM для уточнения цены.

IBM Watson Studio имеет рейтинг 4.1 звезды на G2 Crowd.

Automatic Statistician была разработана с целью облегчить превращение необработанных данных в полезную информацию путем создание прогнозов, выводов и интерпретаций на их основе. Automatic Statistician — система, которая создает возможные статистические модели для объяснения данных, а полученные результаты представляет в виде цифр и текста с естественным языком.

Что отличает Automatic Statistician от других инструментов, так это его способность находить возможные статистические модели в данных и способность объяснять эти находки на естественном английском языке. Благодаря этому функционалу создания понятных отчетов инструмент и получил свое название, так как он может превратить любого пользователя в настоящего статистика.

Automatic Statistician используется в разных отраслях, включая розничную торговлю, eCommerce, производство, рекламу и маркетинг, здравоохранение, программное и аппаратное обеспечение и информационные технологии.

Automatic Statistician не публикует данные о ценах, но вы можете запросить демонстрационную версию.

На G2 Crowd и Capterra оценок нет.

PythonReports — инструментарий, который позволяет создавать отчеты по базам данных в программах на Python. Он также предлагает шаблоны отчетов, генератор отчетов, средства для создания графического интерфейса пользователя и графиков.

PythonReports прост в использовании и предлагает разнообразные функции. Отчеты можно сохранять в файлы или показывать на экране, экспортировать в PDF, распечатывать и т.д.

PythonReports используется компаниями, работающими с программами на Python.

PythonReports бесплатен.

Для PythonReports пока нет оценок.

R — язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда вычислений с открытым исходным кодом в рамках проекта GNU. Некоторые из предоставляемых им статистических методов — линейное и нелинейное моделирование, классические статистические тесты, кластеризация, анализ данных и классификация.

С R получаются хорошие графики высокого качества. В нем также присутствуют формулы и математические символы. Среда R включает в себя:

• Набор операторов для удобных вычислений
• Средство хранения и обработки данных
• Графический интерфейсы для анализа данных, результаты можно распечатать на бумаге или показать на экране
• Простой и хорошо разработанный язык программирования

R используется в банковском деле, социальных сетях, здравоохранении, электронной коммерции и финансах. Он широко используется Facebook, Google, Ford Motor Company, Microsoft, Mozilla, New York Times, Twitter и ANZ Bank.

Исходники R доступны всем желающим как бесплатное ПО по лицензии Free Software Foundation GNU General Public License.

Пока недоступны.

Apache Spark — фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. В отличие от классического обработчика из ядра Hadoop, реализующего двухуровневую концепцию MapReduce с дисковым хранилищем, Spark использует специализированные примитивы для рекуррентной обработки в оперативной памяти, благодаря чему позволяет получать значительный выигрыш в скорости работы для некоторых классов задач, в частности, возможность многократного доступа к загруженным в память пользовательским данным делает библиотеку привлекательной для алгоритмов машинного обучения.

Среди особенностей Apache Spark:

• Многоязычная поддержка
• Скорость
• Продвинутая аналитика
• Сбор данных в реальном времени
• Интеграция с Hadoop
• Распределение данных

Самое лучшее в Apache Spark — это его скорость. Инструмент способен сократить количество операций чтения/записи, что позволяет запускать приложения в 100 раз быстрее в памяти и в 10 раз быстрее на диске.

https://twitter.com/KirkDBorne/status/1173370433195925504

Apache Spark работает в следующих отраслях:

• Программное обеспечение
• ИТ и ИТ-сервисы
• Кадровое обеспечение и рекрутинг
• Высшее образование
• Финансовые услуги
• Здравоохранение
• Управленческий консалтинг

Apache не раскрывает цены на этот продукт.

Apache Spark оценили в 4 звезды в G2 Crowd, хотя количество респондентов невелико — всего 7 человек.

Anaconda — платформа поддержки ИИ, которая позволяет командам по обработке данных выполнять множество операций. Это бесплатный дистрибутив языков программирования R и Python с открытым исходным кодом, целью которого является упрощение управления пакетами и их развертывания.

Anaconda широко используется различными компаниями и организациями благодаря этим особенностям:

• Безопасный доступ к более чем 1,500 пакетам и библиотекам Python и R
• Возможность создавать политики использования пакетов, которые можно вносить в черный/белый список по типам лицензий или номерам версий
• Простой и быстрый обмен блокнотами с данными
• Настраиваемый доступ к блокнотам для отдельных лиц или групп
• Автоматизированный контроль версий
• Подключение к различным источникам данных, включая Hadoop и Spark.
• Разделяемые с другими командами GPU-кластеры

Компании, которые используют Anaconda, работают в разных отраслях. Некоторые из этих компаний — Ford Motors, Bank of America, Walmart, Charles Schwab и Experian. Основные направления:

• Технологии
• Образование
• Банковское дело и финансы
• Бизнес услуги
• Производство
• Правительственные учреждения
• Здравоохранение
• Розничная торговля

Anaconda — это бесплатный дистрибутив с открытым исходным кодом.

Пока оценок для Anaconda на G2 Crowd и Capterra нет.

Keras — библиотека глубокого обучения, написанная на Python и работающая поверх TensorFlow, Theano и CNTK.

Keras обладает следующими функциональными возможностями:

• Keras — простой API, разработанный для людей, а не для машин
• Он выдает понятные сообщения об ошибках, которые могут быть легко поняты и обработаны пользователем
• Это уменьшает когнитивную нагрузку и сводит к минимуму количество действий, требуемых от пользователя
• Keras использует автономные модули, которые можно комбинировать для создания новых моделей
• Легко добавлять новые модули — Keras расширяемый

Среди компаний, использующих Keras, вы можете найти Vanguard, Verizon, IBM, Tailwind и Amgen. А еще в технологиях, B2B-услугах, образовании, производстве, финансах, здравоохранении, розничной торговле, в СМИ и в интернет, а также в телекоммуникациях.

Keras — это бесплатное программное обеспечение с открытым исходным кодом.

Keras имеет рейтинг 4.5 звезды на G2 Crowd и Capterra по отзывам 59 респондентов.

Feature Labs разрабатывает API и инструменты, которые полезны в науке о данных и анализе данных. У него есть три основных продукта, а именно Feautetools, MLApps и Tempo.

Featuretools использует простой Python API, чтобы разработчики могли интегрировать технологии автоматизации Feature Labs.

MLApps предоставляют владельцам бизнеса и командам дата сайентистов доступ к готовым решениям на основе машинного обучения, среди которых прогнозирование фрода, прогнозирование следующей покупки, борьба с отмыванием денег, оценка кредитного рейтинга, повторные обращения в больницы и многое другое.

Наконец, Tempo предназначен для тех, кто хочет создавать свои собственные модели машинного обучения с использованием средств автоматизации Feature Labs.

Продукты Feature Labs могут использоваться в различных отраслях, таких как банковское дело и финансы, здравоохранение, информационные технологии, страхование, промышленность, розничная торговля, а также продажи и маркетинг.

Featuretools для индивидуальных пользователей стоит 50,000 долларов в год, для команд — 100,000 долларов в год. Есть специальные цены на Featuretools Enterprise.

Цены на два других продукта Feature Labs выдаются по запросу.

Для Feature Labs и ее продуктов нет оценок.

RStudio — это IDE или интегрированная среда разработки, разработанная для языка программирования R. Она доступна как в открытой, так и в коммерческих версиях и может работать на настольных компьютерах или через веб-браузер.

Некоторые функции, представленные на сайте RStudion:

• Подсветка синтаксиса, завершение кода и интеллектуальные отступы
• Выполнение кода R прямо из редактора исходного кода
• Быстрый переход к определениям функций
• Интегрированная справка и документация по R
• Простое управление несколькими рабочими каталогами с помощью проектов
• Браузер рабочего пространства и просмотрщик данных
• Интерактивный отладчик для быстрой диагностики и исправления ошибок
• Обширные инструменты разработки пакетов
• Работа с Sweave и R Markdown

RStudio используется в программном обеспечении, розничной торговле, производстве, банковском деле и финансах, а также в сфере страхования.

Разумеется, версия RStudio с открытым исходным кодом предоставляется бесплатно по лицензии AGPL v3. Коммерческое издание, с другой стороны, стоит 4,975 долларов для пяти пользователей в год. Тут есть доступ ко всем функциям, инструментам администрирования, усиленной безопасности и аутентификации, расширенному управлению ресурсами и другим функциям, недоступным в редакции с открытым исходным кодом.

RStudio имеет оценку 4.5 звезды в G2 Crowd при 469 отзывах.

GraphLab Create — это, прежде всего, библиотека Python, цель которой помочь дата сайентистам и разработчикам в создании масштабируемых и высокопроизводительных приложений.

Пользователи имеют доступ к инструментам, которые делают разработку приложений простой и эффективной. Разработчики могут использовать одни и те же участки кода, как на настольных компьютерах, так и в распределенной среде. API гибок, поэтому разработчики могут настраивать его в зависимости от задач машинного обучения.

Отрасли, которые используют GraphLab Create — программное обеспечение, образование, информационные технологии, интернет, здравоохранение, а также финансовые сервисы.

GraphLab имеет открытый исходный код, и у них нет коммерческой версии. Любой желающий может бесплатно воспользоваться возобновляемой годовой лицензией.

GraphLab Create имеет рейтинг 5 звезд на G2 Crowd.

KNIME Analytics Platform — интегрированное и интуитивно понятное программное обеспечение с открытым исходным кодом для изучения данных. С помощью программного обеспечения легче понимать данные и выполнять с ними операции.

Платформа KNIME Analytics выделяется следующими особенностями:

• Интуитивно понятный drag-and-drop интерфейс, который не требует программирования
• Возможность смешивать инструменты из разных доменов с собственными узлами KNIME
• Более 2000 нативных узлов на выбор
• Есть уже доступные рабочие процессы
• Объединение данные из любых источников — простых текстовых файлов, неструктурированных данных или последовательных временных рядов
• Получение данных из Twitter, Google Sheets, Azure, AWS и других источников

Среди компаний и учреждений, использующих аналитическую платформу KNIME — Университет Prairie View A & M, Horizontal Integrations, Медицинский центр Вашингтонского университета и nuwave Solutions.

Большинство таких компаний относятся к следующим отраслям:

• Программное обеспечение
• Образование
• Информационные технологии и услуги
• Здравоохранение
• Биотехнологии
• Финансовые сервисы

Платформа KNIME Analytics имеет открытый исходный код и может быть загружена бесплатно.

KNIME получил 4.3 и 4.5 звезды на G2 Crowd и Capterra соответственно.

Logical Glue фокусируется на «объяснимых, надежных и интерпретируемых» ИИ-решениях. Это практичная и интуитивно понятная платформа для построения и развертывания предиктивных моделей с использованием более 25 технологий от разных компаний.

Поскольку Logical Glue работает на основе объяснимого искусственного интеллекта или XAI (explainable artificial intelligence), операции по обработке данных выполняются быстро, прозрачно и заслуживает доверия. Это помогает предприятиям принимать логические, надежные и ориентированные на производительность решения.

Logical Glue используется в страховании и кредитовании, а также в автомобилестроении, здравоохранении, фармацевтике, электронной коммерции и маркетинге.

Свяжитесь с отделом продаж Logical Glue, чтобы получить расценки.

На G2 Crowd и Capterra нет оценок.

NumPy — пакет научных вычислений для Python, а также эффективный контейнер данных. NumPy может без проблем интегрироваться с различными типами баз данных, поскольку может определять произвольные типы данных.

NumPy на своем сайте говорит о следующем:

• Мощный N-мерный массив объектов
• Сложные (широковещательные) функции
• Инструменты для интеграции кода C/C ++ и Fortran
• Линейная алгебра, преобразования Фурье и случайные числа

Тысячи компаний из самых разных отраслей используют NumPy. Вот несколько примеров направлений, в которых работает эта библиотека:

• Бизнес услуги
• Образование
• Производство
• Финансы
• Здравоохранение
• Розничная торговля
• СМИ и интернет
• Энергетика, коммунальные услуги и утилизация отходов

NumPy бесплатен с некоторыми условиями, оговоренными в лицензии.

NumPy имеет рейтинг 4.6 звезды на G2 Crowd.

Octave — язык программирования, ориентированный на научные вычисления и предлагающий встроенные инструменты построения графиков и визуализации.

Синтаксис Octave совместим с Matlab и может работать на GNU, macOS, Windows и BSD.

Синтаксис Octave позволяет пользователям решать уравнения и производить операции линейной алгебры над векторами и матрицами. Кроме того, он позволяет визуализировать данные в 2D или 3D с помощью высокоуровневых команд.

Поскольку GNU Octave работает с Matlab, рынки их во многом схожи. Это медицина, программное обеспечение, инжиниринг, высшее образование, авиация и ИТ-услуги.

Octave — бесплатное программное обеспечение, распространяемое по лицензии GNU General Public License (GPL).

Octave на G2 Crowd собрал 30 оценок и в среднем получил 4.2 звезды из 5.

Как гласит его слоган, OpenRefine специализируется на преобразовании грязных и необработанных данных во что-то полезное. С помощью OpenRefine пользователи могут исследовать, очищать, преобразовывать, согласовывать и сопоставлять все данные. OpenRefine — это десктоп-приложение, ранее известное как Google Refine.

Примечательные особенности OpenRefine, которые делают его простой, но мощной базой данных:

• Фасетный поиск
• Кластеризация данных
• Редактирование ячеек
• Сопоставление и согласование данных
• Веб-сервис
• Связывание данных
• Экспорт/импорт данных
• Исследование данных
• Связывание наборов данных
• Разделение данных
• Преобразование формата данных

OpenRefine используется в нескольких компаниях и отраслях, начиная с 2010 года.

OpenRefine — это бесплатное программное обеспечение с открытым исходным кодом.

OpenRefine имеет рейтинг 4.6 звезды на G2 Crowd.

Pandas — это библиотека с открытым исходным кодом, которая предлагает простые в использовании структуры данных и мощные инструменты анализа данных с использованием языка программирования Python.

Помимо того, что Pandas является бесплатной и с открытым исходным кодом, библиотека позволяет легко и просто обрабатывать данные. Файлы можно легко читать, набрав простую команду. Она также может управлять любыми видами данных и без проблем сортировать большое количество данных иерархически. Pandas также является отличным инструментом визуализации, поскольку она основана на Matplotlib.

Pandas используется в нескольких отраслях, включая:

• Технологии
• B2B-сервисы
• Финансы
• Образование
• Производство
• Здравоохранение
• СМИ и интернет
• Розничная торговля
• Энергетика, коммунальные услуги и утилизация отходов

Pandas можно свободно использовать по лицензии BSD.

Инструмент на G2 Crowd оценивается в 4.5 звезды. Всего 38 отзывов.

Это, полагаю, исчерпывающий и полный список инструментов отчетности для дата сайентистов на 2020 год. Большинство из этих инструментов распространяется на коммерческой основе, поэтому вам нужно выложить за них свои с трудом заработанные деньги:)