测试集和训练集8:2切分

最近接到个需求：测试集和训练集8:2切分，翻阅了很多资料封装了一个切分方法。

首先介绍下shuffle()函数

shuffle() 方法将序列的所有元素随机排序。

import randomrandom.shuffle (lst )

注意：shuffle()是不能直接访问的，需要导入 random 模块，然后通过 random 静态对象调用该方法。

切分对象是一个列表

def split(full_list, shuffle=False, ratio=0.2):n_total = len(full_list)offset = int(n_total * ratio)if n_total == 0 or offset < 1:return [], full_listif shuffle:random.shuffle(full_list)sublist_1 = full_list[:offset]sublist_2 = full_list[offset:]return sublist_1, sublist_2if __name__ == "__main__":li = range(5)sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)print sublist_1,len(sublist_1)print sublist_2,len(sublist_2)

切分文本

机器学习的数据集是存放在文本当中如何切分？
小编是把每条数据放到一个list，然后在进行切分。

 full_list= []with open(filename, 'r')as f:for line in f:#  删除每一行的换行符line = line.rstrip()if line:full_list.append(line)#  如果有空行跳过继续else:continuedef split(full_list, shuffle=False, ratio=0.2):n_total = len(full_list)offset = int(n_total * ratio)if n_total == 0 or offset < 1:return [], full_listif shuffle:random.shuffle(full_list)sublist_1 = full_list[:offset]sublist_2 = full_list[offset:]return sublist_1, sublist_2
#接下来就可以把 sublist_1, sublist_2 分别写到tesx.txt,train.txt

如果想修改比例按自己想要的比例划分

 if __name__ == "__main__":li = range(5)sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)print sublist_1,len(sublist_1)print sublist_2,len(sublist_2)

修改此处的ratio = 0.2会覆盖掉函数的ratio

测试集和训练集8:2切分相关推荐

R语言构建随机森林模型randomForest分类模型并评估模型在测试集和训练集上的效果（accuray、F1、偏差Deviance）：随机森林在Bagging算法的基础上加入了列采样（分枝特征随机）
R语言构建随机森林模型randomForest分类模型并评估模型在测试集和训练集上的效果(accuray.F1.偏差Deviance):随机森林在Bagging算法的基础上加入了列采样(分枝特征随机) ...
R语言基于Bagging算法(融合多个决策树)构建集成学习Bagging分类模型、并评估模型在测试集和训练集上的分类效果（accuray、F1、偏差Deviance）：Bagging算法与随机森林对比
R语言基于Bagging算法(融合多个决策树)构建集成学习Bagging分类模型.并评估模型在测试集和训练集上的分类效果(accuray.F1.偏差Deviance):Bagging算法与随机森林对比 ...
python基于模型对测试集和训练集的预测概率结果文件可视化模型的校准曲线、多个模型的校准曲线（calibration curve）
python基于模型对测试集和训练集的预测概率结果文件可视化模型的校准曲线.多个模型的校准曲线(calibration curve) 目录
yolov3的训练（五）darknet的VOC测试集和训练集以及训练前准备
VOC测试集和训练集 ################################## 同学们,这个系列的文件不要直接就跟着我操作了,因为这个是踩坑的记录,不是教程,我只是将整个流程记录下 ...
机器学习中，对于数据的预处理是否是测试集和训练集一起进行？
转载自:https://www.zhihu.com/question/312639136 机器学习中,对于数据的预处理是否是测试集和训练集一起进行? 最近在尝试训练和应用模型,遇上一个问题,就是针对数 ...
如何划分测试集和训练集
机器学习划分训练集和测试集的方法目前遇到如何划分机器学习中训练集和测试集的问题,找了各方面的资料,发现知乎大佬给出了详细解答,故转载如下(文末附参考链接): 机器学习常见步骤 1.对数据集进行划分, ...
KS检验样本测试集和训练集分布问题
最初引入KS检验的原因:用SVM 做分类问题时,发现在测试集上跑出来的准确率等参数比在训练集高许多,经过分析,推断可能是由于训练集和测试集上的数据分布情况不一致.所以想通过KS检验一下数据分布情况. ...
【AI-1000问】训练为什么要分测试集和验证集？
往期视频(前往有三AI公众号观看) 为什么要分训练集和测试集呢? 在很多的书以及一些公开数据集中,都会将数据集分为训练集,验证集和测试集,看起来验证集和测试集并没有区别,为什么要分这两个呢? 作者/编 ...
文本分类训练集测试集_【AI1000问】训练为什么要分测试集和验证集？
9 往期视频点击边框调出视频工具条为什么要分训练集和测试集呢? 在很多的书以及一些公开数据集中,都会将数据集分为训练集,验证集和测试集,看起来验证集和测试集并没有区别,为什么要分这两个呢? 作者/ ...

测试集和训练集8:2切分

测试集和训练集8:2切分

首先介绍下shuffle()函数

切分对象是一个列表

切分文本

如果想修改比例按自己想要的比例划分

测试集和训练集8:2切分相关推荐

最新文章

热门文章