Для оценки качества консультаций, проводимых интеллектуальными помощниками, Naumen задавал ботам 14 предметных вопросов, половина из которых предполагала конкретный ответ. Баллы начислялись за релевантный ответ, который учитывал значимые факты из реплик клиента. Помимо этого на оценку бота влияли возможность общаться в свободной форме, легко переключаться между тематиками без потери контекста и переходить на оператора по запросу или в случае ошибки помощника, а также наличие кнопок-подсказок. В рейтинге банков с лучшими чат-ботами первые три места заняли ВТБ, «Почта Банк» и «Промсвязьбанк», набрав 89%, 80% и 78% баллов от максимального количества.