Узнайте о 19 функциях Sklearn, которые вы никогда не видели, являющиеся прямой и элегантной заменой обычных операций, которые вы выполняете вручную.
Введение
После трёх лет использования и просмотра справочника по API Sklearn я понял, что наиболее часто используемые модели и функции — это лишь малая часть того, что может сделать библиотека. Несмотря на то, что некоторые функции чрезвычайно узконаправлены и используются в редких крайних случаях, я обнаружил множество оценщиков, преобразователей и служебных функций, которые являются более элегантными исправлениями для обычных операций, которые люди выполняют вручную.
Итак, я решил составить список самых элегантных и важных из них и кратко объяснить их, чтобы вы могли значительно расширить свой набор инструментов Sklearn. Наслаждайтесь!
1. covariance.EllipticEnvelope
Распределения часто имеют выбросы. Многие алгоритмы имеют дело с выбросами, и EllipticalEnvelope - это пример, который напрямую встроен в Sklearn. Преимущество этого алгоритма в том, что он исключительно хорошо обнаруживает выбросы в нормально распределенных (гауссовских) функциях:
Чтобы протестировать оценщик, мы создаем нормальное распределение со средним значением 5 и стандартным отклонением 2. После того, как оно обучено, мы передаем в его метод predict несколько случайных чисел. Метод возвращает -1 для выбросов в test 20, 10, 13.
2. feature_selection.RFECV
Выбор функций, которые больше всего помогают с прогнозами, является обязательным шагом для борьбы с переоснащением и снижения сложности модели. Одним из самых надежных алгоритмов, предлагаемых Sklearn, является устранение рекурсивных признаков (RFE). Он автоматически находит наиболее важные функции с помощью перекрестной проверки и отбрасывает остальные.
Преимущество этого оценщика заключается в том, что он представляет собой оболочку — его можно использовать вокруг любого алгоритма Sklearn, который возвращает значения важности признаков или коэффициенты. Вот пример синтетического набора данных:
Поддельный набор данных имеет 15 признаков, 10 из которых информативны, а остальные избыточны. Мы подгоняем 5-кратный RFECV с регрессией Ridge в качестве оценки. После обучения вы можете использовать метод transform, чтобы отбросить избыточные функции. Вызов .shape показывает нам, что оценщику удалось отбросить все 5 ненужных функций.
3. ensemble.ExtraTrees
Несмотря на то, что случайные леса мощные и могущественные, риск переобучения очень высок. Поэтому Sklearn предлагает альтернативу RF, называемую ExtraTrees (как классификатор, так и регрессор).
Слово «extra» означает не больше деревьев, а больше случайности. Алгоритм использует другой тип дерева, который очень похож на деревья решений.
Единственное отличие состоит в том, что вместо вычисления порогов разделения при построении каждого дерева эти пороги рисуются случайным образом для каждого признака, и в качестве правила разделения выбирается наилучший порог. Это уменьшает дисперсию за счет небольшого увеличения смещения:
Как видите, ExtraTreesRegressor работает лучше, чем Random Forests, на синтетическом наборе данных.
Подробнее о Extremely Randomized Trees читайте в официальном руководстве пользователя .
4. impute.IterativeImputer и KNNImputer
Если вы ищете более надежные и продвинутые методы вменения, чем SimpleImputer, Sklearn снова поможет вам.
Подпакет sklearn.impute включает в себя два алгоритма вменения на основе моделей — KNNImputer и IterativeImputer.
Как следует из названия, KNNImputer использует алгоритм k-ближайших соседей, чтобы найти лучшую замену отсутствующим значениям:
Более надёжным алгоритмом является IterativeImputer. Он находит пропущенные значения, моделируя каждую функцию с пропущенными значениями как функцию остальных функций. Этот процесс выполняется пошагово в циклическом режиме. На каждом шаге один признак с отсутствующими значениями выбирается в качестве цели (y), а остальные выбираются в качестве массива признаков (X). Затем используется регрессор для прогнозирования отсутствующих значений y, и этот процесс продолжается для каждого признака до времени max_iter (параметр IterativeImputer).
В результате для одного пропущенного значения генерируются несколько прогнозов. Преимущество этого заключается в том, что каждое отсутствующее значение рассматривается как случайная величина и связывается с присущей им неопределенностью:
Обнаружено, что BayesianRidge и ExtraTree работают лучше с IterativeImputer.
5. linear_model.HuberRegressor
Наличие выбросов может сильно исказить предсказания любой модели. Многие алгоритмы обнаружения выбросов отбрасывают выбросы и отмечают их как отсутствующие. Хотя это помогает обучающей функции моделей, оно полностью устраняет влияние выбросов на распределение.
Альтернативный алгоритм HuberRegressor. Вместо того, чтобы полностью удалять их, он придает выбросам меньший вес во время подгонки. Он имеет гиперпараметр epsilon, контролирующий количество выборок, которые следует классифицировать как выбросы. Чем меньше параметр, тем более устойчива модель к выбросам. Его API такой же, как и у любого другого линейного регрессора.
Ниже вы можете увидеть его сравнение с регрессором Байесовского хребта на наборе данных с сильными выбросами:
Как видите, HuberRegressor с epsilon 1.35 1.5, 1.75 удалось зафиксировать линию наилучшего соответствия, на которую не влияют выбросы.
Подробнее об алгоритме можно узнать из руководства пользователя .
6. tree.plot_tree
Sklearn позволяет построить структуру одного дерева решений с помощью функции plot_tree. Эта функция может быть полезна для новичков, которые только начали изучать древовидные и ансамблевые модели:
Существуют и другие методы построения деревьев, например, в формате Graphviz. Узнайте о них из руководства пользователя .
7. linear_model.Perceptron
Самое крутое имя в этом списке принадлежит номеру 7 — Perceptron. Несмотря на причудливое название, это простой линейный двоичный классификатор. Отличительной особенностью алгоритма является то, что он подходит для крупномасштабного обучения и по умолчанию:
- Не требует скорости обучения.
- Не применяет регуляризацию.
- Обновляет свою модель только при ошибках.
Это эквивалентно SGDClassifier loss='perceptron', eta=1, learning_rate="constant", penalty=None, но немного быстрее:
8. feature_selection.SelectFromModel
Другой оценщик выбора функций на основе модели в Sklearn — это SelectFromModel. Он не так надежен, как RFECV, но может быть хорошим вариантом для массивных наборов данных, поскольку требует меньших вычислительных затрат. Он также является оценщиком-оболочкой и работает с любой моделью, имеющей атрибуты .feature_importances_ или .coef_:
Как видите, алгоритму удалось отбросить все 40 избыточных функций.
9. metrics.ConfusionMatrixDisplay
Матрицы путаницы — святой Грааль задач классификации. На ней основано большинство метрик, таких как precision, recall, F1, ROC AUC и т.д. Sklearn позволяет вычислить и построить матрицу путаницы по умолчанию:
Честно говоря, я бы не сказал, что мне нравится матрица путаницы по умолчанию. Их формат фиксирован — строки являются истинными метками, а столбцы — прогнозами. Кроме того, первая строка и столбец относятся к отрицательному классу, а вторая строка и столбец — к положительному. Некоторые люди могут предпочесть матрицу другого формата, возможно, транспонированную или перевернутую.
Например, мне нравится делать положительный класс первой строкой и первым столбцом, чтобы соответствовать формату, указанному в Википедии. Это помогает мне лучше выделить 4 термина матрицы — TP, FP, TN, FN. К счастью, вы можете построить пользовательскую матрицу с помощью другой функции ConfusionMatrixDisplay:
Вы можете поместить матрицу путаницы cm в любой формат, который вы хотите, прежде чем передавать ее в ConfusionMatrixDisplay.
🔟. Generalized Linear Models
Нет смысла преобразовывать цель (y ), чтобы сделать ее нормально распределенной, если есть альтернативы, которые могут работать с другими типами распределений.
Например, Sklearn предлагает три обобщенные линейные модели для целевых переменных с распределением Пуассона, Твиди или Гаммы. Вместо того, чтобы ожидать нормального распределения, PoissonRegressor и TweedieRegressor может давать GammaRegressor надежные результаты для целей с соответствующими распределениями.
Кроме того, их API такие же, как и у любой другой модели Sklearn. Чтобы узнать, соответствует ли распределение цели трем вышеперечисленным, вы можете построить их PDF (функция плотности вероятности) на тех же осях с идеальным распределением.
Например, чтобы увидеть, соответствует ли цель распределению Пуассона, постройте ее PDF-распределение, используя Seaborn, kdeplot и постройте идеальное распределение Пуассона, выбрав его из Numpy, используя np.random.poisson той же оси.
11. ensemble.IsolationForest
Поскольку древовидные и ансамблевые модели обычно дают более надежные результаты, они также доказали свою эффективность при обнаружении выбросов. в Sklearn для обнаружения выбросов IsolationForest используется лес чрезвычайно случайных деревьев (tree.ExtraTreeRegressor ). Каждое дерево пытается изолировать каждую выборку, выбирая один признак и случайным образом выбирая значение разделения между максимальным и минимальным значениями выбранного признака.
Этот тип случайного разбиения создает заметно более короткие пути между корневым узлом и конечным узлом каждого дерева.
Таким образом, когда лес случайных деревьев в совокупности дает более короткие пути для определенных выборок, они, скорее всего, будут аномалиями — руководство пользователя Sklearn.
12. preprocessing.PowerTransformer
Многие линейные модели требуют некоторого преобразования числовых признаков, чтобы сделать их нормально распределенными. StandardScaler и MinMaxScaler работают довольно хорошо для большинства дистрибутивов.
Однако при наличии высокой асимметрии в данных затрагиваются основные показатели распределения, такие как среднее, медиана, минимальное и максимальное значения. Таким образом, простая нормализация и стандартизация не работают с асимметричными распределениями.
Вместо этого Sklearn PowerTransformer использует логарифмическое преобразование, чтобы максимально приблизить любую асимметричную функцию к нормальному распределению. Рассмотрим эти две функции в наборе данных Diamonds:
Оба сильно перекошены. Давайте исправим это с помощью логарифмического преобразования:
13. preprocessing.RobustScaler
Другой числовой преобразователь в Sklearn — это RobustScaler. Вероятно, вы можете догадаться, что он делает по его названию — он может преобразовывать функции таким образом, чтобы они были устойчивы к выбросам. Если в признаке присутствуют выбросы, их трудно сделать нормально распределенными, потому что они могут сильно искажать среднее значение и стандартное отклонение.
Вместо использования среднего/стандартного значения, с помощью RobustScaler данные масштабируются с использованием медианы и IQR (межквартильный размах), поскольку обе метрики не имеют смещения из-за выбросов. Вы также можете прочитать об этом в руководстве пользователя .
14. compose.make_column_transformer
В Sklearn есть сокращение для создания экземпляров Pipeline с функцией make_pipeline. Вместо того, чтобы называть каждый шаг и делать ваш код излишне длинным, функция просто принимает преобразователи и оценщики и выполняет свою работу:
Для более сложных сценариев используется ColumnTransformer, у которого та же проблема — каждый шаг предварительной обработки должен быть назван, что делает ваш код длинным и нечитаемым. К счастью, Sklearn предлагает аналогичную функцию make_pipeline— make_column_transformer:
Как видите, использование make_column_transformer намного короче, и оно заботится об именовании каждого шага преобразования отдельно.
15. compose.make_column_selector
Если вы обратили внимание, мы использовали функцию select_dtypes вместе с атрибутом columns pandas DataFrames, чтобы изолировать числовые и категориальные столбцы. Хотя это работает, есть гораздо более гибкое и элегантное решение с использованием Sklearn.
Функция make_column_selector создает селектор столбца, который может быть передан непосредственно в экземпляры ColumnTransformer. Он имеет параметры dtype_include и dtype_exclude для выбора столбцов на основе типа данных.
Если вам нужен настраиваемый фильтр столбцов, вы даже можете передать регулярное выражение pattern, задав для других параметров значение None. Вот как это работает:
Вместо того, чтобы передавать список имен столбцов, просто передайте экземпляр make_column_selector с соответствующими параметрами, и все готово!
16. preprocessing.OrdinalEncoder
Распространенной ошибкой среди новичков является использование LabelEncoder для кодирования порядковых категориальных признаков . Если вы заметили, LabelEncoder позволяет преобразовывать столбцы только по одному, а не одновременно, как OneHotEncoder. Вы можете подумать, что Sklearn ошибся!
На самом деле его следует использовать только для кодирования переменной ответа (y), как указано в документации . Чтобы закодировать массив функций (X), вы должны использовать OrdinalEncoder, который работает должным образом. Он преобразует порядковые категориальные столбцы в функцию с классами (0, n_categories - 1). И это делается для всех указанных столбцов в одной строке кода, что позволяет включать его в конвейеры.
17. metrics.get_scorer
В Sklearn встроено более 50 метрик, и их текстовые названия можно увидеть в файлах sklearn.metrics.SCORERS.keys(). В одном проекте вам, возможно, придется использовать несколько метрик и импортировать их, если вы используете их по отдельности.
Импорт множества метрик sklearn.metrics напрямую может загрязнить ваше пространство имен и стать излишне длинным. В качестве решения вы можете использовать функцию metrics.get_scorer для доступа к любой метрике с ее текстовым именем, даже не импортируя ее:
18. model_selection.HalvingGrid и HalvingRandomSearchCV
В версии 0.24 Sklearn мы познакомились с двумя экспериментальными оптимизаторами гиперпараметров: классами HalvingGridSearchCV и HalvingRandomSearchCV.
В отличие от своих исчерпывающих собратьев GridSearch и RandomizedSearch, новые классы используют технику, называемую последовательным делением пополам . Вместо обучения всех наборов-кандидатов (наборов комбинаций параметров) на всех данных параметрам задается только подмножество данных. Наихудшие кандидаты отфильтровываются путем их обучения на меньшем подмножестве данных. После каждой итерации обучающие выборки увеличиваются на некоторый коэффициент, а количество возможных кандидатов уменьшается на столько же, что приводит к гораздо более быстрому времени оценки.
Насколько быстрее? В экспериментах, которые я проводил, HalvingGridSearch был в 11 раз быстрее, чем обычный GridSearch, а HalvingRandomSearch даже в 10 раз быстрее, чем HalvingGridSearch.
19. sklearn.utils
И последнее, но не менее важное: у Sklearn есть целый ряд служебных и вспомогательных функций в подпакете sklearn.utils. Сам Sklearn использует функции этого модуля для создания всех используемых нами преобразователей и оценщиков.
Существует много полезных, таких как class_weight.compute_class_weight, estimator_html_repr, shuffle, check_X_y и т. д. Вы можете использовать их в своем собственном рабочем процессе, чтобы сделать ваш код более похожим на Sklearn, или они могут пригодиться при создании пользовательских преобразователей и оценщиков, которые вписываются в Sklearn API.
Заключение
Несмотря на то, что такие библиотеки, как CatBoost, XGBoost и LightGBM, постепенно отбирают кусок у Sklearn как у ведущей библиотеки машинного обучения, она по-прежнему остается бесценной частью стека навыков современного инженера машинного обучения.
Последовательный API, исключительный дизайн кода и возможность создавать надежные рабочие процессы ML по-прежнему делают Sklearn непревзойденным с точки зрения функциональности и гибкости. Несмотря на то, что мы можем многого добиться с помощью основ, эта статья показала, что Sklearn может предложить гораздо больше, чем кажется на первый взгляд!
Спасибо за чтение!