Як реалізувати квантильну регресію в XGBoost версії 1.6.2

3 Березня 2024 в 16:09 26

Квантильна регресія є важливим інструментом в аналізі даних, особливо коли мова йде про прогнозування розподілу цільової змінної, а не лише її середнього значення. Вона дає можливість оцінювати різні квантилі (наприклад, медіану, нижній чи верхній квартиль), що особливо корисно при роботі з асиметричними розподілами або коли потрібно знизити вплив викидів. Нові версії багатьох бібліотек машинного навчання, включаючи XGBoost, вже містять вбудовані засоби для квантильної регресії, однак користувачі старіших версій можуть зіткнутися з певними труднощами. У цій статті ми обговоримо, як реалізувати квантильну регресію в XGBoost версії 1.6.2, використовуючи власні функції.

Насамперед, варто встановити потрібну версію XGBoost:

pip install xgboost==1.6.2

1	pip install xgboost==1.6.2

Щоб реалізувати квантильну регресію, необхідно визначити власну функцію втрат, яка буде мінімізувати різницю між прогнозованими та фактичними значеннями для заданого квантиля. Для квантилів 0.05, 0.5 та 0.95 функція втрат може бути визначена наступним чином:

import numpy as np
def quantile_loss(quantile, y_true, y_pred):
    error = y_true - y_pred
    return np.maximum(quantile * error, (quantile - 1) * error).mean()

import numpy as np

def quantile_loss(quantile, y_true, y_pred):

error = y_true - y_pred

return np.maximum(quantile * error, (quantile - 1) * error).mean()

Ця функція втрат враховує асиметрію квантильної регресії, покараючи перевищення та недооцінку нерівномірно в залежності від обраного квантиля. Наступним кроком є інтеграція цієї функції в процес навчання XGBoost.

Для використання цієї функції втрат з XGBoost необхідно визначити власну функцію об’єктиву, яка адаптує вихід функції quantile_loss до формату, очікуваного XGBoost:

def xgb_quantile_obj(quantile, y_true, y_pred):
    grad = (y_pred &lt; y_true) - (quantile &lt;= (y_pred &lt; y_true))
    hess = np.ones_like(y_pred)
    return grad, hess

def xgb_quantile_obj(quantile, y_true, y_pred):

grad = (y_pred < y_true) - (quantile <= (y_pred < y_true))

hess = np.ones_like(y_pred)

return grad, hess

У цьому випадку grad та hess відповідають першій та другій похідній функції втрат відповідно, які XGBoost використовує для оптимізації моделі.

Після визначення функції об’єктиву можна приступити до тренування моделі XGBoost, передаючи її як параметр obj у метод train бібліотеки:

import xgboost as xgb
# Підготовка даних для XGBoost
dtrain = xgb.DMatrix(X_train, label=y_train)
# Параметри моделі
params = {
    'max_depth': 5,
    'eta': 0.1,
    'silent': 1,
}
# Тренування моделі
bst = xgb.train(params, dtrain, num_boost_round=1000, obj=lambda y_true, y_pred: xgb_quantile_obj(0.5, y_true, y_pred))

import xgboost as xgb

# Підготовка даних для XGBoost

dtrain = xgb.DMatrix(X_train, label=y_train)

# Параметри моделі

params = {

'max_depth': 5,

'eta': 0.1,

'silent': 1,

}

# Тренування моделі

bst = xgb.train(params, dtrain, num_boost_round=1000, obj=lambda y_true, y_pred: xgb_quantile_obj(0.5, y_true, y_pred))

В цьому прикладі для тренування моделі використовується медіана (квантиль 0.5) як цільовий квантиль. Однак, змінивши параметр у виклику xgb_quantile_obj, можна адаптувати модель для прогнозування інших квантилів.

Завершальним кроком є використання натренованої моделі для прогнозування та оцінка її ефективності. Важливо зауважити, що під час оцінки ефективності моделі квантильної регресії слід використовувати метрики, які відображають специфіку цієї задачі, такі як середня абсолютна помилка в процентах (MAPE) або квантильна помилка.

У підсумку, квантильна регресія у XGBoost версії 1.6.2 вимагає від користувачів вміння адаптувати стандартні інструменти та підходи для реалізації специфічних цілей. Використання власних функцій втрат та об’єктивів дозволяє гнучко налаштовувати процес навчання і досягати високої точності прогнозування для різних квантилів цільової змінної. Такий підхід може бути застосований не тільки в XGBoost, але й в інших інструментах машинного навчання, відкриваючи нові можливості для аналізу даних та прогнозування.