Простыми словами про метрики в ИИ. Классификация. Precision, Recall, F-score, ROC-AUC

Привет, vc.ru! Меня зовут Александр Троицкий, я автор канала AI для чайников, и я запускаю серию коротких статей по метрикам качества моделей для машинного обучения!

В этой статье я расскажу как считаются Precision, Recall, F-score, ROC-AUC с живыми примерами.

Мы выяснили, что из Confusion Matrix часто рассчитывают метрики качества моделей, при этом Accuracy применяют редко (хоть она и очень популярна у многих заказчиков, не шарящих в машинном обучении). Что еще можно рассчитать на основе этой матрицы?

Precision = TP / (TP + FP) и показывает долю объектов, названных нашей моделью положительными и при этом действительно являющимися положительными.

Recall = TP / (TP + FN) и показывает нам какую долю объектов положительного класса из всех объектов положительного класса нашел алгоритм.

Эти метрики адекватнее показывают качество модели, чем Accuracy, но имеют ряд недостатков. Например, вы можете изменять результат обоих меток просто двигая уровень отсечения по вероятности отношения к классу.

Если вы любите покопаться в Excel таблице, то вот Excel с формулами и примерами.

Иногда во всех этих метриках можно запутаться, а алгоритмы машинного обучения устроены таким образом, что чаще всего умеют оптимизировать какую-то одну метрику качества. Именно поэтому стали придумывать показатели, которые характеризуют одновременно и Precision и Recall, и называются эти показатели F-скором. F-скоров бывает несколько типов, я вам расскажу про самый базовый расчет, который называется F1-скор:

F1 = 2 * (Precision * Recall) / (Precision + Recall)

Таким образом F1 показывает одновременно насколько хорошо модель находит объекты положительного класса из всех объектов положительного класса и какая доля из тех, кого алгоритм назвал положительным классом, действительно являются положительным классом.

Пожалуй, самой популярной метрикой для бинарной классификации все же является ROC-AUC. Она не требует настройки с уровнем отсечения и хорошо подходит для несбалансированной выборки. Предлагаю разобраться с ее расчетом пошагово на примере с покупкой слона.

Например, у нас есть 10 человек, из них купит слона 4 человека, соответственно 6 человек слона не купят. Мы нашей моделью определяем вероятность покупки слона каждым из этих людей.

Итак, у нас есть вероятность покупки слона и исход события (таблица выше).

Посчитав количество положительных исходов (а их тут 4) и отрицательных исходов (их тут 6 штук), нарисуем табличку высотой 4 и шириной 6. Площадь таблички получается 21.

Расположим вероятность покупки слона от самой большой до самой маленькой. Будем идти сверху вниз по вероятности: если купил слона, то ставим 1 на клеточку выше (начинаем с точки 0,0), если не купил, то ставим 1 на клеточку правее. Правее всех полученных единичек ставим 1 до конца матрицы. Итак наши шаги будут выглядеть следующим образом:

Давай попробуем сделать первый шаг вверх:

Делаем второй шаг снова вверх, потому что мы угадали с нашим предсказанием снова. Получаем:

На третий раз мы не угадали с предсказанием, поэтому идем вправо, получаем матрицу:

На четвертый раз снова угадываем! Идем единичкой наверх.

Используя дальше такую логику получаем матрицу:

Ставим ниже единичек - единички, получаем:%:

Суммируя единички, мы получаем 19. Делим 19 на общее количество ячеек в матрице (4 * 6), получается:

ROC-AUC = 19 / 24 = 79%

В следующей статье я продолжу рассказывать про метрики ИИ, в том числе коснусь метрик регрессии: MSE, RMSE, MAR, R-квадрат, MAPE, SMAPE.

Если вам интересно знать про ИИ и машинное обучение больше, чем рядовой человек, но меньше, чем data scientist, то подписывайтесь на мой канал в Телеграм. Я пишу редко, но по делу: AI для чайников. Подписывайтесь!