数据存储在.csv文件乱码，数据写入才一部分就报错'gbk' codec can't encode character '\xee' in position 45: illegal multibyte

使用python爬虫爬取规则数据后转化成来List格式，将其存储在.csv 文件中
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position … 这个问题。网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。很多时候，我们使用了decode和encode，试遍了各种编码，utf8，utf-8,gbk,gb2312等等，该有的编码都试遍了，可是编译的时候仍然出现： UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position XXX。崩溃了。

我遇到的问题：

1.使用open("xxxx.csv",'w',newline='',encoding='utf-8')把数据存储在csv文件后，能够全部存储，但是乱码了，猜测是编码集不匹配造成的

2.使用open("xxxx.csv",'w',newline='',encoding='gbk')把数据存储在csv文件后,只能存储list集合中前面几个数据，中途终止且报错UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position XXX，猜测原因：数据中包含一些gbk无法显示的字符，导致报错说gbk无法编码。

【解决办法】
方案1：
在对unicode字符编码时，添加ignore参数，忽略无法无法编码的字符，这样就可以正常编码为GBK了。
对应代码为：
print myUnWebItems.encode(“GBK“, ‘ignore’);
方案2：
或者，因为gbk有显示不了的字符，那么使用GBK编码的超集GB18030 （即，GBK是GB18030的子集）：

诸事顺利了

数据存储在.csv文件乱码，数据写入才一部分就报错'gbk' codec can't encode character '\xee' in position 45: illegal multibyte相关推荐

python 写数据入文件碰见的bug：UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xee‘ in position 21865:
问题描述获取网页数据时,避免多次获取被封ip,先将获取的数据给存成文件,发现解码后存入报错了 data = respon.read().decode("utf-8")file = ...
Python 基于csv 读取文本文件提示：‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence
报错 Python 基于csv 读取文本文件提示:'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequenc ...
python中txt文件读取错误原因以及解决办法‘gbk‘ codec can‘t decode byte 0x80 in position 2: illegal multibyte sequence
python的读写文件操作时,有时候会出现一些小问题,详细如下,(原因在前面,解决办法在文末). 读取txt文件时出现错误反馈如下: Traceback (most recent call last) ...
python读取csv文件‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence
encoding='utf-8 加上即可
Matlab 变量保存csv:UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xfb in position 4: illegal multiby
Matlab 中的变量保存到本地txt或csv格式 positionerror2:为Matlab变量数据 xlswrite('C:\Users\Administrator\Desktop\candat ...
python：读取文件内容解码编码错误 UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xab in position 2: illegal
一.错误1(代码如下):UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 2: illegal multibyte ...
python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multib
python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multib ...
scrapy实战----将数据存储到csv文件和MySQL数据库中
本章将通过爬取51jobs求职网站中的python职位信息来实现不同方式的数据存储的需求. github地址--->源代码我们先来看一下:51jobs网站我们需要的数据有,职位名公司名工 ...
python打开xml文件报错：UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xb7 in position 58: illegal multi
本篇文章主要讲解,python打开xml文件报错:UnicodeDecodeError: 'gbk' codec can't decode byte 0xb7 in position 58: ille ...

数据存储在.csv文件乱码，数据写入才一部分就报错'gbk' codec can't encode character '\xee' in position 45: illegal multibyte

诸事顺利了

数据存储在.csv文件乱码，数据写入才一部分就报错'gbk' codec can't encode character '\xee' in position 45: illegal multibyte相关推荐

最新文章

热门文章