Data Science - технологии будущего?

Компания N – развивающийся российский бренд в сфере IT, за прошедшее десятилетие захвативший множество рынков: такси, новости, блог, электронная почта, поисковик, переводчик, доставка и другие. Как же компания добилась всего этого?

Все началось на собрании совета директоров в далеком 2013 году. Генеральный директор задает вопрос:

«Прибыль в этом году на 14% меньше, выручка на 21, доля N на рынке сократилась!! Кто виноват и что делать?»

Уже через 10 минут совещание превратилось в хаос: маркетологи перекладывали вину на финансистов: бюджета-то совсем нет на рекламные компании, совсем нет…», финансисты на программистов: «по статистическим опросам качество услуг просело! Программистам надо зарплату урезать…», программисты на маркетологов «Мы делаем лучшие сервисы в России, репутация бренда подкачивает: маркетологи как с печи только встали…».

И тут никем не замеченный Джун-тестировщик, который вел протокол заседания, обратился к директору:

«Да все у нас нормально и с маркетингом, и с продуктами, и финансовый отдел хорош. Наши конкуренты начали использовать Data science, а у нас всего один дата сайентист в компании. Вы только подумайте, компьютер сам сможет выстраивать кратчайшие маршруты и высчитывать время для таксистов, переводчик сможет сканировать изображение и переводить прямо с картинки, рекомендации и поисковая система улучшится в разы под индивидуального пользователя. И это только начало…»

«Так, а теперь медленно и в подробностях!», - одновременный хор совета директоров.

Data Science помогает компьютеру обучаться на каких-то данных. Существует разделение на классическое машинное обучение (Machine Learning) и на глубокое обучение (Deep learning).

Машинное обучение обычно ограничивается стандартным набором инструментов: регрессия, кластеризация, библиотека Pandas и Sk-learn в языке программирования Phyton.

Глубокое обучение - это уже для серьезных проектов, которые строятся на нейронных сетях: условно есть несколько моделей машинного обучения, сеть обучается на данных по каждой модели, а полученные результаты еще раз обучаются и так далее. То есть, это уже более серьезный механизм, который с трудом освоит начинающий.

- разделять данные на группы, выделяя схожие признаки. Простейший пример - эффективное лекарство или нет: проводится эксперимент, в ходе которого записываются симптомы пациентов до и после приема. Данные обрабатываются, обучаются и получается результат.

- прогнозировать результаты и вывести аналитику данных и финансовые отчеты на новый уровень.

- создавать рекомендательные системы для пользователей на основе предыдущих данных (Все онлайн кинотеатры, такие как Netflix, Кинопоиск используют машинное обучение)

- прогнозировать эпидемии и пандемии (то, что на данный момент плохо сработало на практике)

- оптимизация маршрутов, используется в логистике

- обнаружение и предотвращение мошенничества в банковской сфере. Нейронная сеть обучается на проведенных пользователями транзакциях и умеет с большой точностью обнаруживать подозрительные транзакции.

- таргетированная реклама и автоматическое размещение контента.

- планирование объемов производства.

- предложение наиболее востребованных для конкретного клиента объектов недвижимости (использует ЦИАН)

- прогнозирование макроэкономических показателей (например, курса рубля к доллару)

- отбор перспективных игроков и поиск талантов по их предыдущим выступлениям в спорте и искусстве.

- переводчик

- поисковые запросы и рекомендации в поиске

Прошло 10 лет, и после этого разговора компания N является уже ведущей и одной из самых известных в России с показателями рентабельности выше 25% ежегодно. Даже в кризис. Конечно, этот результат стал достижимым благодаря многим факторам и работе сотен сотрудников, но все сервисы компании построены на основе Data Science, машинное обучение используется практически во всех услугах.

«Но какое обучение для малого/среднего бизнеса: это же дорого? Да и зачем его использовать, у нас нет никаких сервисов, где оно необходимо».

На самом деле это не совсем так: тестирование продуктов – одна из возможностей машинного обучения. Например, веб-сайты, которые по статистике есть у 82% бизнес проектов, могут быть улучшены с помощью дата сайенс. Это называется А/В тестирование: есть предыдущая версия сайта и новая: версию с доработками показывают определенной выборке пользователей и сравнивают статистические показатели между двумя версиями. Если доработки принесли ощутимый результат, то их добавляют в основной продукт. Это может значительно улучшить конверсию продаж и увеличить поток клиентов.

«Но это ведь дорого!!»

Дорого – содержать свой штат сотрудников. Но такие услуги, как А/В тестирование, доработки веб-продуктов, можно сделать на аутсорсе, обратившись в веб-студию. Практически любая веб-студия предоставляет такие услуги, а цена варьируется от конкретного проекта. Обычно такие услуги идут в комплексе с редизайном или изменением функционала веб-ресурса. Такое тестирование подразумевает отслеживание в среднесрочной перспективе: главный менеджер по работе с клиентами «Codersafe» Михаил объясняет: «Клиент, когда обращается, ему нужен результат. Если заказать, к примеру, просто редизайн одной страницы и сделать А/В тестирование, то результата не будет, а клиенты будут думать, что просто на просто потеряли деньги. Улучшение конверсий, тестирование – процесс долгий, нужно минимум полгода, чтобы почувствовать результат. Поэтому мы работаем только на долгосрочную перспективу, чтобы мы могли обеспечить этот результат клиентам».

Data science – будущее в IT, которое уже сейчас становится реальностью. Интерес к теме подогревается с каждым годом и любой человек и, тем более, бизнесмен должен знать хотя бы что это и что такое существует.