franztao
2022/11/24阅读:24主题:默认主题
拆分数据集以进行机器学习
适当拆分数据集以进行训练、验证和测试。
Intuition
为了确定模型的有效性,需要有一个公正的测量方法。为此,将数据集拆分为training
、validation
和testing
数据拆分。
-
使用训练拆分来训练模型。
在这里,模型将可以访问输入和输出以优化其内部权重。
-
在训练拆分的每个循环(epoch)之后,将使用验证拆分来确定模型性能。
在这里,模型不会使用输出来优化其权重,而是使用性能来优化训练超参数,例如学习率等。
-
训练停止(epoch(s))后,将使用测试拆分对模型进行一次性评估。
这是衡量模型在新的、看不见的数据上表现的最佳方法。请注意,当性能改进不显着或可能指定的任何其他停止标准时,_训练会停止。_
创建适当的数据拆分
应该关注哪些标准来确保正确的数据拆分?
显示答案
数据集(和每个数据拆分)应该代表将遇到的数据 输出值在所有拆分中的相等分布 如果以防止输入差异的方式组织数据,则打乱您的数据 如果您的任务可能遭受数据泄漏(例如 time-series
) ,请避免随机洗牌
需要在拆分之前先清理数据,至少对于拆分所依赖的特征。所以这个过程更像是:预处理(全局,清洗)→分裂→预处理(局部,转换)。
Naive split
首先将数据集拆分为三个数据拆分,用于训练、验证和测试。
from sklearn.model_selection import train_test_split
# Split sizes
train_size = 0.7
val_size = 0.15
test_size = 0.15
对于多类任务(每个输入都有一个标签),希望确保每个数据拆分具有相似的类分布。stratify
可以通过添加关键字参数来指定如何对拆分进行分层来实现这一点。
# Split (train)
X_train, X_, y_train, y_ = train_test_split(
X, y, train_size=train_size, stratify=y)
print (f"train: {len(X_train)} ({(len(X_train) / len(X)):.2f})\n"
f"remaining: {len(X_)} ({(len(X_) / len(X)):.2f})")
train: 668 (0.70) remaining: 287 (0.30)
# Split (test)
X_val, X_test, y_val, y_test = train_test_split(
X_, y_, train_size=0.5, stratify=y_)
print(f"train: {len(X_train)} ({len(X_train)/len(X):.2f})\n"
f"val: {len(X_val)} ({len(X_val)/len(X):.2f})\n"
f"test: {len(X_test)} ({len(X_test)/len(X):.2f})")
train: 668 (0.70)
val: 143 (0.15)
test: 144 (0.15)
# Get counts for each class
counts = {}
counts["train_counts"] = {tag: label_encoder.decode(y_train).count(tag) for tag in label_encoder.classes}
counts["val_counts"] = {tag: label_encoder.decode(y_val).count(tag) for tag in label_encoder.classes}
counts["test_counts"] = {tag: label_encoder.decode(y_test).count(tag) for tag in label_encoder.classes}
# View distributions
pd.DataFrame({
"train": counts["train_counts"],
"val": counts["val_counts"],
"test": counts["test_counts"]
}).T.fillna(0)
很难比较这些,因为训练和测试比例不同。让看看平衡后的分布是什么样子。需要将测试比率乘以多少才能得到与训练比率相同的数量?

# Adjust counts across splits
for k in counts["val_counts"].keys():
counts["val_counts"][k] = int(counts["val_counts"][k] * \
(train_size/val_size))
for k in counts["test_counts"].keys():
counts["test_counts"][k] = int(counts["test_counts"][k] * \
(train_size/test_size))
computer-vision | mlops | natural-language-processing | other | |
---|---|---|---|---|
train | 249 | 55 | 272 | 92 |
val | 53 | 12 | 58 | 20 |
test | 54 | 12 | 58 | 20 |
可以通过计算每个拆分的类计数与平均值(理想拆分)的标准差来查看原始数据拆分中有多少偏差。
# Standard deviation
np.mean(np.std(dist_df.to_numpy(), axis=0))
0.9851056877051131
# Split DataFrames
train_df = pd.DataFrame({"text": X_train, "tag": label_encoder.decode(y_train)})
val_df = pd.DataFrame({"text": X_val, "tag": label_encoder.decode(y_val)})
test_df = pd.DataFrame({"text": X_test, "tag": label_encoder.decode(y_test)})
train_df.head()
多标签分类
如果有一个多标签分类任务,那么将通过skmultilearn库应用迭代分层,该库本质上将每个输入分成子集(其中每个标签都被单独考虑),然后从最少的“正面”开始分配样本样本并处理具有最多标签的输入。
from skmultilearn.model_selection import IterativeStratification
def iterative_train_test_split(X, y, train_size):
"""Custom iterative train test split which
'maintains balanced representation with respect
to order-th label combinations.'
"""
stratifier = IterativeStratification(
n_splits=2, order=1, sample_distribution_per_fold=[1.0-train_size, train_size, ])
train_indices, test_indices = next(stratifier.split(X, y))
X_train, y_train = X[train_indices], y[train_indices]
X_test, y_test = X[test_indices], y[test_indices]
return X_train, X_test, y_train, y_test
迭代分层本质上会产生分裂,同时“试图保持关于顺序标签组合的平衡表示”。习惯于
order=1
迭代拆分,这意味着关心在拆分中提供每个标签的代表性分布。但是也可以考虑更高阶的标签关系,可能关心标签组合的分布。
本文主体源自以下链接:
@article{madewithml,
author = {Goku Mohandas},
title = { Made With ML },
howpublished = {\url{https://madewithml.com/}},
year = {2022}
}
作者介绍