文件筛选文件并复制到本机

1. 策略，使用python os包处理，缺点设备电脑没有安装python。所有更换策略，直接使用dos 命令，制作成bat脚本然后运行。

2. 筛选文件遇到的问题，因为在该文件夹下除了需要的csv的格式log，还有许多其他的文件，而且文件名很相似。因此只有通配符*进行匹配，并且copy 到指定的路径下面。因为文件名有日期，所以我需要过去一个月的那我就直接修改成201812*TEST_DATA*.csv。

(在文本编辑器里面粘贴下面的代码，然后保存为**bat,然后运行就可以复制文件到本机了)

@echo off

xcopy /s /y "\\192.168.1.1\d$\Logs\B\Common\201901*TEST_DATA*.csv" "\\C:\users\admin\log"

数据提取过程

需要的数据文件成百上千个，每个基本上有5M左右，总共有300G左右。OMG！如果去一个个的找到了再复制过来，估计我这几天的工作就是copy paste了~~

还好我有万能的大蟒蛇(Python)，最近正在研究它是如何来帮我装逼(zhuang，bi)的。查看了一部分文件，发现里面的格式还算好不是很混乱。没有列名称，开头一行是写的文件名称，时间+TEST_DATA*.csv，然后下一行开始就是一些记录。装逼开始：

打开我的jupyter notebook,

import pandas as pd

df=pd.read_csv(r"\C:\users\admin\log\aa.csv")

df.head()

报错啦，ParserError: Error tokenizing data. C error: Expected 13 fields in line 6, saw 15

WTF，这是什么鬼，没有见过呢。期望有13个区域，但是发现了15？好吧找度娘，发现我前面的数据列数与后面的不匹配。那怎么办？好办，我去pandas 官方文档查看 pd.read_csv的使用方法，有个有意思的配置 names。就是自己给导入的文件加一个列表名称。

names : array-like, default None

List of column names to use. If file contains no header row, then you

should explicitly pass header=None. Duplicates in this list will cause

a ``UserWarning`` to be issued.

添加names,然后运行完美解决。

提取需要的数据，还好目前只是需要提取里面的一个数据。需要的数据存放格式是在两列里面的，根据全面的字段，获取后面一个字段的数值。类似这样的csv格式,,,,,H=,8000,,,,

h=df[df.h=='H=']

h

44 8085

360 8100

439 8100

599 8055

678 8095

757 8085

836 8090

917 7960

1075 8020

#获得结果是我们需要的，但是还记得我们300G的嘛？

定义函数对所有文件进行处理，提取出的数据并保存成csv文件

import pandas as pd

def hdata(files):

t=pd.read_csv(files,skiprows=1, names=['Date','a','b','c','h','Z','X=','X','Y=','Y','T','T1','T2'])

h1=t[t.h==''H=']

h2=t[t.h==''H1=']

z=pd.concat([h1.h,h2.h],axis=0)

df=pd.DataFrame(z)

df=df.set_index('h',drop=True)

df.to_csv(r"C:\Users\admin\Desktop\h.csv",header='False',mode='a')

#mode 'a'是跟OS包文件处理相同，只增加不覆盖。就是越写越多

获取所有文件的名称，并调用数据提取函数，处理所有的数据完成后保存。

import os

def file_name(file_dir):

L=[]

for root, dirs, files in os.walk(file_dir):

for file in files:

if os.path.splitext(file)[1] == '.csv':

L.append(os.path.join(root, file))

return L

x=file_name(r"\C:\users\admin\log\")

for f in x:

zdata(f)

最后的数据分析计算

将最后获得的数据导入到另外的DataFrame里面开始计算。

x=pd.read_csv(r"C:\Users\admin\Desktop\h.csv")

print(x.shape)

x.describe()

怎么回事？数据是object？数据集的描述也感觉怪怪的。

使用神器notepad++ 打开文本查看，结果发现每次在写入一次文件的时候都加了一个 H= 的列名。知道问题所在了，就好搞定它了~我是巨坑

移除多余的列表名称

te=x[x.H != 'H']

te=te.set_index('H',drop=True)

te.to_csv(r"C:\Users\admin\Desktop\hh.csv")

ddf=pd.read_csv(r"C:\Users\admin\Desktop\hh.csv")

ddf.describe()

根据下图的结果可以看到我们的西格玛值(std)197.825394，均值8230.035271

我们希望得到6sigma 的质量标准，那么我们所设置的H值的上下限就可以根据公式计算出来：LCL=Mean-6*sigma

UCL=Mean+6*sigma

最终范围为：6 sigma range=[ 8032.209877151716 ~ 8427.86066444984 ]

avg=ddf.mean()

std=ddf.std()

sigma_low=avg-std

sigma_high=avg+std

print('6 sigma range=[',sigma_low[0],'~',sigma_high[0],']')

6 sigma range=[ 8032.209877151716 ~ 8427.86066444984 ]

最后上一个JMP生成的分析