数据预处理

mat文件格式转化为csv

环境 Win10+Python3.6.8+Pycharm

import pandas as pd
import scipy
from scipy import io
features_struct = scipy.io.loadmat('E:\Auto_ML_datasets\12k Drive End Bearing Fault Data\A_1hp\A_data_0.mat')
features = features_struct['X098_DE_time']
dfdata = pd.DataFrame(features)
datapath1 = 'E:\\Auto_ML_datasets\\12k Drive End Bearing Fault Data\\A_1hp\\A_data_0.csv'
dfdata.to_csv(datapath1, index=False)

批量读取文件路径

import os
def iterbrowse(path):for home, dirs, files in os.walk(path):for filename in files:yield os.path.join(home, filename)
for fullname in iterbrowse('E:\\Auto_ML_datasets\\12k Drive End Bearing Fault Data\\A_1hp\\'):print (fullname)

整合——批量mat转csv多文件合并

import pandas as pd
import numpy as np
import scipy
from scipy import io
import os#批量读取文件路径
def iterbrowse(path):for home, dirs, files in os.walk(path):for filename in files:yield os.path.join(home, filename)
#mat转csv
def mat_to_csv(mat_read_path,csv_save_path):features_struct = scipy.io.loadmat(mat_read_path)for features_key in list(features_struct.keys()):if 'DE' in features_key:features = features_struct[features_key]dfdata = pd.DataFrame(features)dfdata = dfdata.Tfeatures_T=np.transpose(features)features_list=(features_T.tolist())[0]DE_all_list.append(features_list)datapath1 =[csv_save_path+'\\'+str(i)+'DE.csv']dfdata.to_csv(datapath1[0], header=False, index=False)i=0
DE_all_list=[]
for fullname in iterbrowse('E:\\Auto_ML_datasets\\12k Drive End Bearing Fault Data\\A_1hp'):mat_to_csv(fullname,'E:\\Auto_ML_datasets\\12k Drive End Bearing Fault Data\\csv')i = i + 1
DE_all_array=pd.DataFrame(DE_all_list)
DE_all_array.to_csv('E:\\Auto_ML_datasets\\12k Drive End Bearing Fault Data\\csv\\DE_all_array.csv', header=False, index=False)

Auto_ML自动机器学习之TPOT——学习笔记（2）相关推荐

Auto_ML自动机器学习之TPOT——学习笔记（1）
Auto_ML自动机器学习之TPOT--学习笔记(1) 前言 TPOT简介入门练习练习前言没有python的基础,也不是程序员,而自动机器学习也号称要让我们这些小白会用,遂学之. TPOT简介 ...
《基于张量网络的机器学习入门》学习笔记4
<基于张量网络的机器学习入门>学习笔记4 量子概率将概率复数化分布与向量的表示事件与Hilbert空间不兼容属性及其复数概率表示为什么一定要复数概率量子概率将概率复数化在经 ...
《基于张量网络的机器学习入门》学习笔记7
<基于张量网络的机器学习入门>学习笔记7 量子算法什么是量子算法三个经典量子算法 Grover算法背景基本原理例题量子算法什么是量子算法例如我们求解一个问题,一个111千克 ...
《基于张量网络的机器学习入门》学习笔记6
<基于张量网络的机器学习入门>学习笔记6 密度算符(密度矩阵) 具体到坐标表象在纯态上在混合态上纯态下的密度算符混合态下的密度算符密度算符的性质量子力学性质的密度算符描述第一 ...
《基于张量网络的机器学习入门》学习笔记5
<基于张量网络的机器学习入门>学习笔记5 量子概率体系事件互斥事件概率与测量不相容属性对相容属性对量子概率与经典概率的区别量子测量量子概率体系我们将经典的实数概率扩展到复 ...
台湾大学林轩田机器学习技法课程学习笔记4 -- Soft-Margin Support Vector Machine
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了Kernel SVM.先将特征转换和计算内积这两个步骤合并起来,简化计算.提高计算速度,再用Dual SVM的求解方法来解决. ...
台湾大学林轩田机器学习技法课程学习笔记1 -- Linear Support Vector Machine
红色石头的个人网站:redstonewill.com 关于台湾大学林轩田老师的<机器学习基石>课程,我们已经总结了16节课的笔记.这里附上基石第一节课的博客地址: 台湾大学林轩田机器学习基 ...
台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了非线性分类模型,通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行分类,分析了非线性变换可能会使计算复杂度 ...
机器学习knn算法学习笔记使用sklearn库，莺尾花实例
** 机器学习knn算法学习笔记使用sklearn库 ,莺尾花实例. 具体knn算法是怎样的我这里就不再详细论述.在这里我注意总结我使用knn算法进行一个分类的分析 ** 分析过程 1.前期准备引入 ...

Auto_ML自动机器学习之TPOT——学习笔记（2）

Auto_ML自动机器学习之TPOT——学习笔记（2）

数据预处理

mat文件格式转化为csv

批量读取文件路径

整合——批量mat转csv多文件合并

Auto_ML自动机器学习之TPOT——学习笔记（2）相关推荐

最新文章

热门文章