Алгоритмы для боссов

Что такое сентимент-анализ и как корпорации используют его для улучшения условий труда

В закладки

В середине 2000-х многие компании начали применять сентимент-анализ или анализ тональности текста для оценки популярности своей продукции среди клиентов. Компании использовали алгоритмы для оценки тысяч отзывов покупателей, чтобы выявить их эмоции, скрытые в тексте.

В 2016 году индустрия сентимент-анализа используется в разных отраслях: социологических исследованиях, анализе публикаций в социальных сетях, а крупные корпорации таким образом оценивают степень удовлетворенности работой своих сотрудников. Обозреватель vc.ru разобрался, как анализ тональности текста помогает компаниям создавать оптимальные условия для сотрудников.

Спецпроект USA Today по сравнению популярности кандидатов в президенты США

Перед президентскими выборами 2012 года в США, издание USA Today запустило спецпроект совместно с компанией-партнером Topsy. Проект был призван оценить, как пользователи социальных сетей отзываются об обоих кандидатах в президенты: Бараке Обама и Митте Ромни. 1 мая 2012 года сентимент-оценка Обамы равнялась 32 баллам, а Ромни — 26. 7 ноября Обама получил 85 баллов, а Ромни — 57.

Практически каждый день, пока шло исследование, социолог Марк Смит негативно отзывался о спецпроекте. «Это безответственно. Информация, собранная USA Today, настолько нелогична и бесполезна, что её сбор можно приравнять к преступлению», — говорил Смит.

Спецпроект заключался в том, что алгоритмы Topsy — компании, специализирующейся на поиске по социальным медиа — находили записи в Twitter, касающиеся Обамы и Ромни, а затем оценивали их эмоциональную окраску. По мнению Смита, USA Today не учитывало того факта, что твиты отправляли две отдельные группы пользователей: сторонники Обамы и Ромни.

В результате этого, изменения в ходе президентской гонки фактически ничего не значили — они определяли лишь «громкость» сторонников каждого кандидата в социальных сетях в этот день.

Представьте, что сторонники каждого кандидата находятся на городской площади. Репортер каждый день приходит на площадь и измеряет крики толпы в пользу кандидата, а затем ежедневно пишет об изменениях.

Загадка Topsy

В марте 2014 года некоммерческая организация Global Voices использовала аналитику Topsy для того, чтобы оценить частоту использования слов «война» и «мир» среди русскоязычных пользователей. «Графики показывают, что за последние несколько дней в сотнях тысяч твитов были упоминания слова "война"», — писали в Global Voices. Технологии Topsy часто использовали для анализа реакции пользователей на различные события.

В 2013 году компания Apple приобрела Topsy за $225 млн. Технологии Topsy впечатляли — компания могла проводить поиск в реальном времени среди всего архива сообщений в Twitter, начиная с 2006 года. Однако это всё равно не объясняло, зачем Apple нужна технология сентимент-анализа в социальных сетях.

Умный помощник в Spotlight на iOS

Крупная сумма, которую Apple заплатила за поглощение Topsy, подогрела интерес к сентимент-анализу. Позже выяснилось, что компания использовала технологии Topsy для создания сервиса Proactive, который предлагает пользователям релевантную информацию по поисковым запросам.

«В 2013 году результаты поиска в Spotlight выглядели как список приложений и контактов. Сейчас это статьи из "Википедии", информация из всех приложений и многое другое. Apple и Topsy просто выбросили поисковую строку Google из вашего iPhone», — писал редактор Business Insider Аарон Хэйс-Рот. Мнения о том, что Apple приобрела Topsy для борьбы с Google, придерживались и другие издания.

В декабре 2015 года Apple закрыла Topsy, включая бесплатную версию технологии и программное обеспечение для корпоративного сектора.

Однако в индустрии появилось много компаний, которые заменили Topsy и вывели технологию сентимент-анализа на новый уровень.

«Как работается?»

Каждый день люди отправляют и получают 200 млрд электронных писем, сотни миллионов твитов и бесчисленное количество сообщений в мессенджерах. Компания Radicati предполагает, что число текстовых сообщений будет расти в течение следующих пяти лет и к 2019 году даже электронной почтой будут пользоваться на 25% чаще.

В тексте много эмоций. Даже если отбросить личную переписку и анализировать лишь корпоративную, то даже там эмоциональный окрас может кардинально отличаться. Ни один человек не может проанализировать такой объем информации, зато может компьютер. За десятилетие существования сентимент-анализа исследователи создали программы, которые обрабатывают тонны текста, в попытках анализировать стоящие за ним эмоции.

В беседе с изданием The Atlantic профессор Университета Иллинойса Бинг Лу рассказал, что анализ тональности текста появился в результате маркетингового исследования. «В середине 2000-х онлайн-отзывы начали набирать обороты. Компании хотели более глубоко понять, как покупатели оценивают их продукцию и использовали специальные алгоритмы, анализирующие отзывы», — говорит Лу.

С 2010 года сентимент-анализ превратился в процветающую индустрию. Платформы для анализа текста разрабатывают десятки стартапов и крупные корпорации пользуются ими по-разному. Кто-то по-прежнему использует их для работы с клиентами, другие же используют сентимент-анализ внутри компании — среди своих сотрудников.

В 2007 году корпорация IBM запустила платформу Connections. Она «помогает организации работать с нужными людьми, ускорить внедрение инноваций и достичь желаемых результатов», — говорится на сайте корпорации. Платформа работает как корпоративная социальная сеть.

IBM Connections

The Atlantic пишет, что Connections работает во всех офисах IBM в 170 странах мира. Для 380 тысяч сотрудников она работает как Facebook, Dropbox и Wikipedia, объединённые в одну массивную сеть. С её помощью можно совместно работать над проектами, публиковать посты или общаться с коллегами. IBM также продаёт Connections другим компаниям.

В прошлом году IBM запустила программу Social Pulse, которая анализирует публикации и комментарии в Connections. Результаты анализа отправляются в HR-отдел компании, чтобы помочь HR-специалистам понять предпочтения и эмоции сотрудников, их отношение к корпорации в целом. «Система совмещает сентимент-анализ и структурированную демографическую информацию о сотрудниках, чтобы узнать новую информацию об их рабочих условиях», — говорится на странице Social Pulse.

Вручную проанализировать сотни комментариев и сообщений 380 тысяч сотрудников невозможно. Поэтому корпорация настроила Social Pulse для работы с этим массивом данных. В результате IBM получила информацию о том, что сотрудники были недовольны способом оценки их результативности. Достижения оценивались с помощью кривой и после обработки этих данных, компания заменила способ оценки.

Не имея возможности слушать пожелания сотрудников таким образом, мы бы не смогли вовремя принять решение. То, что традиционно случается за месяц или два, мы сделали в реальном времени.

— менеджер центра IBM по вовлечению и социальной аналитике Садат Шами

Twitter в каноэ

Компании в стартап-зонах, например, в Кремниевой долине, активнее других борются за сотрудников. «Возможность убедиться в том, что сотрудники удовлетворены работой в Twitter, невероятно важна для нас», — говорит директор отдела аналитики Twitter Шон Маккоули. В 2015 году социальная сеть начала сотрудничество со стартапом Kanjoya, который занимается сентимент-анализом.

До этого Twitter проводила опрос сотрудников несколько раз в год и практически все вопросы были закрытыми — ответить на них можно было, лишь выбрав один вариант из перечня. С момента сотрудничества с Kanjoya, компания начала проводить опрос 1/6 части сотрудников каждый месяц и добавила в список больше открытых вопросов.

Программное обеспечение Kanjoya анализирует развёрнутые ответы сотрудников. «К концу опроса сотрудникам надоедало нажимать 3, 3, 3 и мы получали практически бесполезную информацию, с которой ничего нельзя было сделать», — говорит Субхадра Дутта, работающий в HR-отделе Twitter.

Важность своей работы Kanjoya подтверждает исследованием, проведенным в августе 2016 года исследовательским центром GenHQ. Исследование показало, что три из четырех сотрудников считают наиболее важным показателем в компании её желание прислушиваться к отзывам работающих.

В сентябре 2016 года компания Ultimate Software поглотила Kanjoya.

Проблемы технологии

Анализ тональности речи нельзя назвать отполированной технологией. «Компьютер всё еще плохо понимает человеческую речь». — говорит профессор Бинг Лу. В 2015 году в Минессотского университете провели исследование, протестировав точность систем сентимент-анализа.

На обработку компьютеру дали большое количество электронных писем, которыми обменивались программисты. Система распознала эмоции с точностью всего в 30%. Однако параллельно два человека попытались проанализировать небольшую часть этих писем и их точность составила также 30%.

Немало критики вызывает и вторжение подобных систем в личную жизнь. Если компания будет наблюдать и анализировать переписку сотрудников, это может вызвать не только их беспокойство, но и привести к судебным искам.

Однако большинство компаний и так используют эту технологию лишь в анализе публичной переписки. «Мы были предельно честны с сотрудниками, сказав им, что исследуем сообщения и публикации на корпоративном форуме», — говорит руководитель HR-отдела Intel Ричард Тейлор.

Эксперты возлагают немалые надежды на нейронные сети и машинное обучение. Однако некоторые считают, что в тексте считать эмоции гораздо сложнее, чем с лица человека. В 2015 году несколько ученых из Индии предложили новую технологию анализа эмоций — сканирование лица.

В теории, подобная система будет фотографировать лицо сотрудника, каждый раз, когда он приходит на работу, чтобы увидеть его эмоции. Подавлен ли он, рад, огорчен, зол или апатичен — компания сможет анализировать эту информацию, чтобы улучшить условия труда своих сотрудников.

#корпорации #работа_в_корпорации

{ "author_name": "Саша Мураховский", "author_type": "editor", "tags": ["\u0440\u0430\u0431\u043e\u0442\u0430_\u0432_\u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0446\u0438\u0438","\u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0446\u0438\u0438"], "comments": 7, "likes": 11, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 18890, "is_wide": true, "is_ugc": false, "date": "Wed, 05 Oct 2016 12:18:50 +0300" }
{ "id": 18890, "author_id": 9843, "diff_limit": 1000, "urls": {"diff":"\/comments\/18890\/get","add":"\/comments\/18890\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/18890"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

7 комментариев 7 комм.

Популярные

По порядку

Написать комментарий...
5

Пришёл такой на работу с кислой рожей второй раз подряд - бац, уволен за недостаточную лояльность к компании и не восторженный образ мыслей.

Ответить
0

Интересовался недавно темой. Кто в теме, подскажите API для сентимент-анализа, хорошо работающее с русским языком.

Ответить
2

http://opiner.ru/service
http://eurekaengine.ru/
http://textocat.ru/textocat-api.html

не знаю, насколько полезно будет, но вроде похоже на правду

Ответить
0

Спасибо за ссылки.

Ответить
0

Маразм крепчал и нет ему предела. Но еще более идиоты те, кто соглашается работать в таких условиях. Это такие же идиоты, как и те, что демпенгуют цены. Подобных работодателей надо посылать нахуй и валить оттуда. Меня и так возмущали дурацкие эйчары, я их еще со своих 17 лет запомнил и их зачастую неприятные, личные вопросы. Какая-то захудалая фирма, которая платит какие-то 50к рублей в месяц проверяет тебя как ФСБшник. Хочу чтобы эйчаров расформировали как класс. Бесполезная профессия, просто нахлебники, которые мнят из себя психологов. Это все, фотографирования лица, эмоций зачем все это? Не дай бог жизнь заставит меня пойти устраиваться на работу, почву такую готовят хоть вешайся. Сам процесс собеседования уже унизителен. Большинство эйчаров полные мудаки. Профессионала должен нанимать профессионал. Если с оценкой эффективности еще можно жить, но с мудаками эйчарами и ахуевшими работодателями, которые вдруг решили фоткать твои эмоции с утра жить нельзя, это уже пиздец.

Ответить

0

Сентимент-анализ выявил негативные флюиды в твоем комменте. В целом согласен, слишком публичной становится личная жизнь, притом не по своей воле

Ответить
0

Все то, что они называют сентимент анализом в реальности обычный семантический анализ на технологиях 60 летней давности. Никаких сентиментов он не видит и не увидит до тех пор пока не начнут анализировать невербальные элементы речи. Но "наши американские
партнеры" давно придумали универсальную бизнес модель.
Возьми давно известную вещь, придумай новый buzzword для нее, накачай его через попсовую прессу и снимай бабло с лохов.
Так медитация становится Mindfulness, клиент-сервер - Cloud, а примитивный семантический анализ - sentiment.
В результате даже IBM Tone аналайзер сливает по полной некоторым стартапам.

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления
{ "page_type": "default" }