Как повысить точность моделей?

Большинству наверняка знакомо чувство, которое возникает, когда до заветной цели не хватает всего чуть-чуть, но вы никак не можете преодолеть эту мелочь. Не самое приятное чувство, правда? В статье мы поделимся одним из способов, как можно повысить точность ваших ML моделей.

Всё чаще приходится работать с ML для предсказания заданных параметров, классификации, кластеризации и т.п. Довольно часто возникают ситуации, когда, достигнув определённой точности модели, мы больше не можем улучшить этот показатель, используя стандартные методы и «коробочные» решения. Упираемся в стенку.

Однако, достигнутая точность по тем или иным причинам может нас не устраивать. Например, при необходимости классификации нескольких сотен тысяч объектов 1%, представленный 1000 неверно классифицируемых образцов, может быть существенным. Всё зависит от ситуации.

В данной статье мы хотели бы поделиться одним из вариантов повышения предсказательной мощности моделей машинного обучения на примере задачи классификации.

Задача заключалась в классификации текстов по разным темам. Скорость работы была немаловажным фактором, поэтому изначально мы использовали быстрый линейный классификатор LinearSVC.

В качестве метрики мы использовали взвешенную F1-score, а по различным классам анализировали метрики precision и recall.

Стандартными изученными способами мы смогли добиться значения f1-score на уровне 0,81. Но необходимо было значение 0,85.

Мы сделали следующее. Разделили первоначальную обучающую выборку для исходной модели ещё на 2 части. По первой части мы обучили три модели. Например, так:

Использовались модели из модуля scikit-learn. Вторая модель строилась на основе SGDClassifier, третья – LogisticRegression. CalibratedClassifierCV использовался для возможности получения вероятности предсказания (по тем моделям, в которых эта функция отсутсвует), Pipeline соответственно помогал конвейерной обработке входных данных и их предсказанию. Предсказательная мощность каждой модели около 0,81 по f1.

После обучения моделей, мы с помощью каждой сделали классификацию второй части обучающей выборки и сохранили данные в единый датасет. Также мы с помощью этих моделей сделали первичное предсказание на тестовой выборке.

Теперь самое интересное. Все предсказанные результаты мы будем рассматривать в качестве признаков и подадим их на вход четвёртой модели.

Для этого мы добавим в датасеты предсказанные столбцы и с помощью функции get_dummies() сформируем категориальные признаки по сделанным предсказаниям.

В качестве 4-ой модели также используем LinearSVC.

В результате работы конечной модели предсказательная мощность по метрике f1 повысилась до 0,861, то есть мы достигли желаемой цели.
Надеемся, что наш опыт будет полезен и вам, и вы сможете использовать его в своей работе.