Как я сократили отдел контроля качества с 12 человек до 1 и стало лучше

Когда я пришёл руководить продажами в нашу компанию, в отделе контроля качества работало 12 человек. Через полтора года их осталось 11, ещё через пару месяцев 5, а сейчас один. При этом сам контроль качества не ослаб, а наоборот стал заметно глубже. Это решение в своё время вызвало серьёзное сопротивление внутри компании, и я понимаю почему. Со стороны оно выглядит как обычное сокращение ради экономии. На деле всё было устроено сложнее, и в первую очередь дело было даже не в деньгах, а в том, что я обнаружил, когда впервые посмотрел на сам ОТК как на отдельный объект анализа.

В двух словах контекст. У нас порядка шестисот звонков в день суммарно по продажам и сервису, отделом руководил старший аудитор, под ним работали девять линейных контролёров и один методолог, который отвечал за обновление чек-листов. Стандартный процесс выглядел так. Из общего потока звонков каждый день случайным образом выгружалась выборка примерно в десять процентов, около шестидесяти разговоров. Эти 60 звонков распределялись между контролёрами, каждый прослушивал свою порцию и заполнял чек-лист в гугловской таблице по двадцати параметрам, включая соблюдение скрипта, отработку возражений, эмоциональный тон и выполнение регламентов. Раз в неделю формировался сводный отчёт, который шёл в РОПы, а раз в месяц проводился стратегический разбор уже с моим участием.

ФОТ отдела составлял около 1,2 млн в месяц. Плюс рабочие места, лицензии на софт, обучение. По нашим внутренним расчётам полная стоимость ОТК выходила в районе 1,5 млн ежемесячно. Это много, но я считал, что эти деньги мы платим за объективную картину происходящего в продажах. У меня были еженедельные сводки, я видел рейтинги менеджеров, я опирался на эти данные в управленческих решениях. Мне казалось, что система работает так, как задумано.

Сомнения у меня появились после случая, который сначала показался мелким. Один из моих РОПов на еженедельной встрече предъявил мне жалобу от своего менеджера. Менеджер был сильный, давал стабильно высокий план, и его недавно сделали наставником для новичков. По отчёту ОТК за прошлый месяц он внезапно скатился в нижнюю треть рейтинга. РОП этому не поверил, поднял конкретные звонки, на которые контролёры поставили низкие оценки, и пришёл с ними ко мне. Я их прослушал. Никаких проблем я в этих звонках не услышал. Менеджер вёл диалог уверенно, отрабатывал возражения, доводил до закрытия. Оценки ОТК были занижены.

Я пошёл к старшему аудитору и попросил его это объяснить. Объяснение свелось к тому, что у разных контролёров «разный стиль оценивания», но на больших выборках разница нивелируется. На словах это звучало правдоподобно. На деле меня это объяснение не устроило, потому что под средними цифрами мог скрываться очень кривой сигнал, а решения мы принимали не по средним, а по конкретным рейтингам конкретных людей. Я решил провести аудит самого ОТК.

Методика была простая. Я взял пятьдесят случайных звонков за прошлый месяц и анонимно раздал их четырём разным контролёрам, каждому полный набор из пятидесяти. Они оценивали независимо, не зная, что эти же звонки уже оценивают коллеги. Через две недели я свёл результаты в одну таблицу.

Картина оказалась удручающей. Средний разброс оценок одного и того же звонка между четырьмя контролёрами составил около сорока процентов. По одной и той же записи один человек ставил «восемь из десяти», другой «пять», третий «четыре», четвёртый «шесть». На пятнадцати из пятидесяти звонков разница в оценках между самым строгим и самым лояльным контролёром превышала пятьдесят процентов. И это были не сложные пограничные случаи, а обычные коммерческие диалоги среднего уровня.

Я смотрел на эту таблицу и понимал простую вещь. Полтора миллиона рублей в месяц я платил не за объективные данные о работе менеджеров, а за более или менее случайные числа, которые от человека к человеку расходились почти вдвое. Менеджеров, которых я разбирал на коуч-сессиях как «отстающих», легко могли оценить как «лидеров», если бы их звонки попали к другому контролёру. И наоборот. О природе этих проблем — почему ручная прослушка в принципе даёт такой разброс — у меня есть отдельная статья со сравнением ИИ-анализа звонков и ручной прослушки.

Самое неприятное в этом аудите было даже не то, что я обнаружил, а то, что я обнаружил это не сразу. ОТК у нас существовал четыре года. Все четыре года мы получали красивые сводные отчёты, рассаживали по ним менеджеров в рейтинги, принимали решения о премиях и обучении. Все эти решения были построены на данных, которые с самого начала были, мягко говоря, нестабильными.

Дальше нужно было что-то делать. У меня было несколько вариантов.

Первый — повысить дисциплину внутри ОТК. Унифицировать критерии, ввести калибровочные встречи, обучить контролёров до состояния, когда их оценки сходятся. Я обсудил этот путь со старшим аудитором, и он сам сказал, что в реальности это утопия. Люди разные, у них разное восприятие, разный опыт продаж, разные жизненные истории. Унифицировать ручную оценку до состояния, при котором четыре человека ставят одинаковые баллы за один звонок, можно только частично. Разброс можно сократить процентов до двадцати, до десяти уже совсем сложно, до пяти практически невозможно.

Второй вариант — оставить всё как есть. Это означало продолжать платить полтора миллиона в месяц за данные, которым я больше не доверял.

Третий вариант — заменить большую часть функции ОТК на ИИ, который оценивает по единому алгоритму все сто процентов звонков. ИИ не идеален и тоже ошибается, но его ошибки систематические и предсказуемые, а не зависят от того, как у контролёра прошло утро. И главное, он одинаково оценивает все звонки, что и было первичной задачей ОТК с самого начала. Об общем сравнении методов контроля качества звонков, от ручных чек-листов до речевой аналитики с ИИ, я потом тоже сделал подробный материал, и в нём были учтены мои собственные грабли.

Третий вариант выглядел разумнее всего, но он требовал не просто внедрения софта, а перестройки команды. И вот тут я понимал, что лёгкого разговора не получится.

Сопротивление было сильнее, чем я ожидал, и шло сразу с нескольких сторон.

Первой пришла HR-директор. Её аргумент звучал так: «мы не можем за полгода уволить десять человек, у нас репутация хорошего работодателя, это ударит по бренду найма». Аргумент валидный, и мне пришлось проработать с ней план поэтапного перехода с нормальными выходными пакетами и помощью в трудоустройстве. Двух человек мы в итоге сохранили внутри компании на других ролях.

Вторым пришёл старший аудитор. У него было два аргумента, личный и профессиональный. Личный был понятен: он терял управление командой, в которую вложил несколько лет. Профессиональный звучал так: «ИИ не услышит того, что слышит человек, мы пропустим важные нюансы». Я ему привёл цифры аудита и спросил, что он думает о том, что эти важные нюансы сейчас слышатся четырьмя контролёрами по-разному. Он промолчал. Через две недели подал заявление. Мы расстались по-человечески.

Третье сопротивление пришло от РОПов, и оно меня удивило. Казалось бы, ОТК для них всегда был внешней инстанцией, которая ставит их менеджерам оценки и осложняет жизнь. Можно было ожидать, что они порадуются. Вместо этого один из РОПов прямо сказал мне: «ну вот, теперь меня будет оценивать робот по всем звонкам подряд, без разбора». Я понял, что РОПы привыкли к десяти процентам выборки как к зоне комфорта. В девяноста процентах звонков их менеджеры могли расслабиться, потому что эти звонки никем не контролировались. С переходом на ИИ эта зона исчезала. Мне пришлось отдельно с каждым РОПом проговаривать, что ИИ это не инструмент моего личного надзора, а инструмент их собственной работы. О том, какие именно рутинные задачи РОПа разумно делегировать нейросети и какие нет, я потом делал отдельный разбор, и часть этого материала родилась как раз из тех разговоров.

Самое тяжёлое сопротивление было от самих менеджеров продаж. У них было ощущение, что «нас теперь будет слушать машина». Это требовало честного разговора, и я провёл несколько собраний, где открыто рассказал, что мы делаем и зачем. Главным аргументом, который сработал, был не тезис про объективность, а тезис про коучинг. Я объяснил, что ИИ никого не наказывает, он просто подсвечивает закономерности. А эти закономерности будет разбирать с ними один живой человек, который останется в ОТК. Не контролёр, а тренер.

Это, наверное, главное в кейсе. Сокращение до одного человека работает только потому, что этот один человек выполняет принципиально другую работу, чем выполняли двенадцать предыдущих.

Раньше двенадцать человек делали оценку звонков. Один человек, который остался, оценкой не занимается. Оценкой занимается ИИ. Он же формирует рейтинги, подсвечивает аномалии, отбирает звонки, которые требуют отдельного внимания.

Оставшийся сотрудник занимается двумя вещами. Во-первых, он работает с теми двадцатью-тридцатью звонками в день, которые ИИ помечает как «требуют человеческого взгляда». Это сложные случаи, спорные оценки, ситуации, где машина не уверена. Он их слушает, ставит финальный вердикт, и, что важнее, разбирает с менеджером лично. Это уже не аудит, а коучинг.

Во-вторых, он занимается настройкой самой системы. Каждые две недели он смотрит, где ИИ систематически промахивается, и корректирует промпты и чек-листы. Без живого человека на этой роли система через полгода начнёт давать всё более предсказуемые и потому всё менее полезные оценки. С ним она живёт и подстраивается под нашу специфику.

Я понимаю, что фраза «один человек делает работу двенадцати» звучит как обычная маркетинговая бравада. На самом деле всё ровно наоборот. Один человек делает совсем другую работу. Прежний ОТК выполнял функцию массового судьи. Новый ОТК это функция тренера и оператора системы. Это сравнимо с тем, как раньше двенадцать человек выписывали накладные руками, а сейчас один человек настраивает 1С и обрабатывает исключения.

Если перевести всё произошедшее в цифры, картина выглядит примерно так.

ФОТ ОТК сократился с 1,2 млн до примерно 150к. Подписка на речевую аналитику с ИИ-функционалом обходится нам в районе 120к в месяц. Итого совокупная стоимость контроля качества стала меньше четверти прежней, около 270к против 1,5 млн. В годовом выражении это около 15 млн рублей экономии на контроле качества. Эти деньги мы частично направили на коуч-сессии и на программу мотивации сильных менеджеров.

Охват контроля вырос с 10% процентов до 100%. Это не просто десятикратное увеличение, это качественно другой тип данных, потому что выборка в десять процентов это всегда статистика и догадка, а сто процентов это уже факт.

Разброс оценок по одному и тому же звонку, что было главной болью аудита, у нас фактически исчез. ИИ оценивает по фиксированному набору правил, и эти правила одинаковы для всех звонков и всех менеджеров. Решения о премировании и обучении мы теперь принимаем на данных, в которые я по-человечески верю.

Удовлетворённость менеджеров системой контроля выросла, что для меня было самым неожиданным результатом. Я опасался, что переход на «слушает машина» вызовет напряжение и саботаж. Получилось наоборот. Менеджеры стали получать конкретные индивидуальные разборы от одного живого тренера вместо обезличенных оценок от четырёх разных контролёров с расходящимися критериями. Несколько человек на ежеквартальном опросе вовлечённости отдельно написали, что «контроль качества наконец стал помогать, а не мешать».

И ещё одна цифра, в которой я сам не до конца уверен, но которую считаю важной. Конверсия по средним менеджерам, то есть не по звёздам и не по аутсайдерам, а по основной массе, выросла за полгода примерно на 14%. Я не могу однозначно отнести этот рост на счёт нового ОТК, потому что в эти же полгода мы поменяли ещё несколько вещей. Но более точная коучинговая работа точно сыграла свою роль.

Главный вывод, который я для себя сделал из всей этой истории, формулируется примерно так. Большие отделы контроля качества в их классической форме это часто не объективный надзор, а коллективная попытка средствами субъективных оценок изобразить объективность. Когда появляется инструмент, который реально оценивает объективно, нужда в коллективе отпадает. Остаётся нужда в одном умном человеке, который умеет работать с этим инструментом и с людьми, чьи звонки он анализирует. Я бы рекомендовал каждому, у кого сейчас работает ОТК больше трёх-четырёх человек, проделать тот же эксперимент, который проделал я. Дайте четырём контролёрам одну и ту же выборку из пятидесяти звонков и сравните их оценки. Возможно, у вас картина окажется лучше моей. Возможно, такой же. В любом случае это будет полезное столкновение с реальностью.