话不多说，直接贴代码

import pandas as pd
import os
import time# 去重复
def drop_duplicates(df):# 完全重复则删除df = df.drop_duplicates()return dfdef merge_execl(merge_file_dir):# 要合并的execl目录dir_name = merge_file_dirdir_list = os.listdir(dir_name)timer = time.time()# df.drop_duplicates(subset, keep, inplace)new_data_col = ''new_data = ''for file in dir_list:# 如果是文件并且以csv结尾file_name = dir_name + '\\' + fileif os.path.isfile(file_name):if file_name.endswith('.csv'):new_file_name = dir_name + '\\' +  'new_file_{}.csv'.format(timer)df = pd.read_csv(file_name)df.to_csv(new_file_name, mode='a', index=False)# 打开csv文件去重复再次保存df = pd.read_csv(new_file_name, header=None)df = drop_duplicates(df)df.to_csv(new_file_name, header=False, index=False)# 合并xls文件elif file_name.endswith('.xls') or file_name.endswith('.xlsx'):new_file_name = dir_name + '\\' + 'new_file_{}.xls'.format(timer)df = pd.read_excel(file_name)if new_data_col == '':new_data_col = list(df.columns)if new_data == '':new_data = list(df.values)else:new_data += list(df.values)new_df = pd.DataFrame(data=new_data, columns=new_data_col)new_df = drop_duplicates(new_df)new_df.to_excel(new_file_name, index=False)if __name__ == '__main__':# 要合并execl文件夹file_dir_name = 'citibike'merge_execl(file_dir_name)

输出结果

代码中脚本和需要合并的excel文件夹在统一目录下

python使用pandas合并excel文件并去重复相关推荐

使用python和xlwings合并excel文件
使用python和xlwings合并excel文件 20年前读书时间考了一个C语言二级,许多年都没有使用过,现在工作上遇到一个合并汇总excel文件问题,找了一个新版pyhon,网络百度,自学2周,编 ...
pandas python csv_python:pandas合并csv文件的方法(图书数据集成)
数据集成:将不同表的数据通过主键进行连接起来,方便对数据进行整体的分析. 两张表:ReaderInformation.csv,ReaderRentRecode.csv ReaderInformatio ...
Python使用pandas读取Excel文件数据和预处理小案例
假设有Excel文件data.xlsx,其中内容为现在需要将这个Excel文件中的数据读入pandas,并且在后续的处理中不关心ID列,还需要把sex列的female替换为1,把sex列的male替 ...
Python使用Pandas读写EXCEL文件教程
https://www.daehub.com/archives/9463.html 教程开始之前,我们需要首先了解一下什么是Excel,这有助于理解之后教程中的内容. 什么是Excel Excel ...
python利用pandas合并excel表格代码_利用Python pandas对Excel进行合并的方法示例
前言在网上找了很多Python处理Excel的方法和代码,都不是很尽人意,所以自己综合网上各位大佬的方法,自己进行了优化,具体的代码如下. 博主也是新手一枚,代码肯定有很多需要优化的地方,欢迎各位大 ...
Python使用pandas读取Excel文件多个WorkSheet的数据并绘制柱状图和热力图
问题描述:在当前文件夹中有一个存放同一门课程两个班级同学成绩的Excel文件"学生成绩.xlsx",每个工作表中存放一个班级的成绩.编写程序,使用pandas读取其中的数据,然后绘 ...
利用pandas合并excel文件
临时想要合并一些excel文件,发现用pandas还挺方便.但觉得速度有些慢,可以改进.先这样吧,:-D. # -*- coding: utf-8 -*- """ Cre ...
python 使用pandas 读写excel文件
现在本地创建一个excel表,以及两个sheet,具体数据如下: sheet1: sheet2: 读取excel文件 pandas.read_excel(io, sheet_name=0, heade ...
python 将excel文件转换为txt文件_python利用pandas将excel文件转换为txt文件的方法
python将数据换为txt的方法有很多,可以用xlrd库实现.本人比较懒,不想按太多用的少的插件,利用已有库pandas将excel文件转换为txt文件. 直接上代码: ''' function:将 ...

python使用pandas合并excel文件并去重复

话不多说，直接贴代码

输出结果

python使用pandas合并excel文件并去重复相关推荐

最新文章

热门文章