背景

今天在从数据库拉了一大批数据出来后，发现因为数据量太大，如果直接用pandas的to_excel或者to_csv去保存，会报以下错误:

data.to_csv('xxxx.csv')

ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size is: 1048576, 16384

解决方法

方法其实很简单，使用to_csv模块是将文件的后缀名改为.txt并改用特殊分隔符例如\t即可。代码如下：

data.to_csv('xxxx.txt',sep='\t')

读取的时候使用 pandas 对应的read_csv模块即可，代码如下：

data = pd.read_csv('xxxx.txt',sep='\t')

Pandas 如何保存较大文件。‘ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size相关推荐

pandas.read_csv——分块读取大文件
read_csv中有个参数chunksize,通过指定一个chunksize分块大小来读取文件,返回的是一个可迭代的对象TextFileReader,IO Tools 举例如下:In [138]: r ...
redmine上传大文件报错Request Entity Too Large
产品部反馈redmine上传原型图时报错,Request Entity Too Large 检查redmine正确是正确的系统是通过nginx做的反向代理,怀疑是nginx的问题. /etc/ngi ...
[转载] python pandas.read_csv读取大文件
参考链接: Python | 使用pandas.read_csv()读取csv pandas.read_csv读取较大文件方法
pandas使用to_feather函数将dataframe保存为feather文件（需要依赖pyarrow包）提升大文件读取效率、pandas使用read_feather函数读取feather文件
pandas使用to_feather函数将dataframe保存为feather文件(需要依赖pyarrow包)提升大文件读取效率.pandas使用read_feather函数读取feather文件. ...
python爬虫入门练习：BeautifulSoup爬取猫眼电影TOP100排行榜，pandas保存本地excel文件
传送门:[python爬虫入门练习]正则表达式爬取猫眼电影TOP100排行榜,openpyxl保存本地excel文件对于上文使用的正则表达式匹配网页内容,的确是有些许麻烦,替换出现任何的差错都会导致 ...
[转]Asp.Net 上传大文件专题(3)--从请求流中获取数据并保存为文件[下]
转自:http://www.cnblogs.com/stg609/archive/2008/08/03/1259206.html 接着上一篇讲 3.4 读取剩余的请求前面我们已经提到过R ...
Pandas将dataframe保存为pickle文件并加载保存后的pickle文件查看dataframe数据实战
Pandas将dataframe保存为pickle文件并加载保存后的pickle文件查看dataframe数据实战目录 Pandas将dataframe保存为pickle文件并加载保存后的pickl ...
pandas读取大文件（chunksize）并通过sqlalchemy写入MySQL数据库
pandas读取大文件(chunksize)并通过sqlalchemy写入MySQL数据库在pandas中读取表类文件的时候有一个参数chunksize,只要指定了这个参数的数值,那么得到的结果就不 ...
Asp.Net 上传大文件专题(3)--从请求流中获取数据并保存为文件[下]
接着上一篇讲 3.4 读取剩余的请求前面我们已经提到过ReadEntityBody (Byte[] buffer, Int32 size)方法,该方法可以用来读取客户端的请求数据 ...

Pandas 如何保存较大文件。‘ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size

Pandas 如何保存较大文件。'ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size is: 1048576, 16384'

背景

解决方法

Pandas 如何保存较大文件。‘ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size相关推荐

最新文章

热门文章