XGBoost 分类特征新特性：告别手动编码
XGBoost 是一种基于决策树的集成机器学习算法，依靠梯度提升实现高性能预测。然而，过去它并不直接支持分类数据，分类特征在训练或推理前必须手动编码。随着 XGBoost 1.7 版本的发布，一项实验性功能允许您直接在分类数据上训练和运行模型，无需手动编码，极大简化了数据预处理流程。接下来我们将深入解析这一特性及其实际应用方法。
传统编码方式的痛点
在 XGBoost 1.7 之前，处理分类特征必须借助手动编码。根据数据类型，常见方式有以下两种：
- 标签编码（Label Encoding）：适用于有序类别（如学校成绩 A、B、C），为每个类别分配一个整数。
- 独热编码（One-Hot Encoding）：适用于无序类别（如颜色红、绿、蓝），为每个类别创建一个二进制特征。
示例：对颜色进行独热编码
>>> import pandas as pd
>>> df = pd.DataFrame({"id":[1,2,3,4,5],"color":["red","green","blue","green","blue"]})
>>> print(df)
id color
0 1 red
1 2 green
2 3 blue
3 4 green
4 5 blue
>>> print(pd.get_dummies(df))
id color_blue color_green color_red
0 1 0 0 1
1 2 0 1 0
2 3 1 0 0
3 4 0 1 0
4 5 1 0 0独热编码的缺点非常明显：大量类别会导致特征爆炸，进而引发内存和 DataFrame 大小限制。对于决策树模型（如 XGBoost），稀疏的独热编码特征往往被忽略，因为分割算法更倾向于选择非稀疏且能带来更大纯度增益的特征。
XGBoost 1.7 的实验性分类支持
从 XGBoost 1.7 开始，您可以通过 enable_categorical 参数直接处理分类特征。核心改进包括：
- 自动选择编码方式：根据类别数量自动使用标签编码或独热编码。
- 最佳分割算法：采用 optimal partitioning 算法，避免独热编码的稀疏问题，有效处理分类数据的分割。
- 支持缺失值：可以直接处理分类特征中的缺失值。
- 最大类别阈值：通过 max_cat_to_onehot 参数控制自动切换编码的阈值，防止过拟合。
实战：使用 XGBoost 分类支持预测恒星类型
下面我们以 Kaggle star type prediction dataset 为例，演示新功能的具体操作流程。
1. 加载数据与分割
>>> import pandas as pd
>>> import xgboost as xgb
>>> from sklearn.model_selection import train_test_split
>>> data = pd.read_csv("6 class csv.csv")
>>> print(data.head())将目标列“Star type”单独提取，并划分训练集与测试集：
>>> X = data.drop("Star type", axis=1)
>>> y = data["Star type"]
>>> X_train, X_test, y_train, y_test = train_test_split(X, y)2. 将分类特征声明为 category 类型
必须将需要处理的分类特征转换为 pandas 的 category 数据类型：
>>> y_train = y_train.astype("category")
>>> X_train["Star color"] = X_train["Star color"].astype("category")
>>> X_train["Spectral Class"] = X_train["Spectral Class"].astype("category")3. 创建 XGBClassifier 并启用分类支持
在创建 XGBClassifier 对象时，设置 enable_categorical=True。您也可以根据需求指定 max_cat_to_onehot 来调整编码切换行为。本例中设置 max_cat_to_onehot=1，表示当唯一类别数大于1时直接使用最优分割算法。
>>> clf = xgb.XGBClassifier(
tree_method="gpu_hist", enable_categorical=True, max_cat_to_onehot=1)
>>> clf.fit(X_train, y_train)
XGBClassifier(base_score=0.5, booster='gbtree', callbacks=None,
colsample_bylevel=1, colsample_bynode=1, colsample_bytree=1,
early_stopping_rounds=None, enable_categorical=True,
eval_metric=None, gamma=0, gpu_id=0, grow_policy='depthwise',
importance_type=None, interaction_constraints='',
learning_rate=0.300000012, max_bin=256, max_cat_to_onehot=4,
max_delta_step=0, max_depth=6, max_lea ves=0,
min_child_weight=1, missing=nan, monotone_constraints='()',
n_estimators=100, n_jobs=0, num_parallel_tree=1,
objective='multi:softprob', predictor='auto', random_state=0,
reg_alpha=0, ...)
小提示： tree_method 可以设置为 "hist"（CPU）或 "gpu_hist"（GPU），分类支持对两者均有效。
4. 推理时处理测试数据
对测试集的分类特征也需转换为 category，并使用训练集的类别范围进行约束（防止出现未见过类别）：
>>> X_test["Star color"] = X_test["Star color"] \
.astype("category") \
.cat.set_categories(X_train["Star color"].cat.categories)
>>> X_test["Spectral Class"] = X_test["Spectral Class"] \
.astype("category") \
.cat.set_categories(X_train["Spectral Class"].cat.categories)
>>> print(clf.predict(X_test))
[1 0 3 3 2 5 1 1 2 1 4 3 4 0 0 4 1 5 2 4 4 1 4 5 5 3 1 4 5 2 0 2 5 5 4 2 5 0 3 3 0 2 3 3 1 0 4 2 0 4 5 2 0 0 3 2 3 4 4 4]常见问题
- 问：
max_cat_to_onehot参数应该设置多大？
答：该参数控制当类别数量不超过该值时使用独热编码，超过时则启用最优分割。对于类别数较少的特征（如小于10），可以保留默认值4；对于高基数特征，建议设置为较小值（如1）强制使用最优分割，从而避免独热编码带来的稀疏问题。 - 问：训练集和测试集的分类类别不一致怎么办？
答：必须确保测试集类别是训练集的子集。使用cat.set_categories()将测试集类别限制为训练集中已出现的类别。若测试集出现新类别，可将其视为缺失值处理，或提前在编码阶段进行统一映射。 - 问：分类特征中的缺失值如何处理？
答：XGBoost 1.7 的分类支持已内置缺失值处理机制，默认missing=nan，训练时会将缺失值视为有效的分支方向。 - 问：是否支持字符串类型的目标变量？
答：支持。只需将目标列转为category类型，XGBoost 会自动处理多分类任务。上述示例中y_train就是字符串类型的类别。
总结
通过启用 enable_categorical 参数，XGBoost 1.7+ 成功解决了分类特征需手动编码的长期痛点，并提供了更高效的最优分割策略，完全规避了独热编码的缺陷。您只需将数据中的分类列转换为 category 类型，设置好相关参数，即可像处理数值特征一样直接进行训练与推理。这一特性同时兼容 CPU 和 GPU 环境，极大提升了实际项目中的工作效率和模型开发体验。