pd.read_csv()中encoding='utf-8'和'utf-8-sig'的区别

Pandas.read_csv格式奇怪的问题

除了常见的utf-8，gbk，今天发现还有utf-8-sig

用默认格式打开是这样的：

明显是编码问题，但是用utf-8打开文件发现是这样的：

用open打开文件看到是这样的：

可以看到在文件的首部有一个\ufeff字段，那么feff是什么意思呢？
feff是一个BOM(Byte Order Mark)，是一个不显示的标识字段，在utf-16或者utf-32等中，feff放在首位表示字节流高位在前还是低位在前；
但是一般的utf-8是不需要BOM的，为了解决这个问题，我们采用utf-8-sig编码打开csv文件，可以看到已经正常了：

总结：在遇到编码问题的时候，除了考虑gbk（国标扩）和utf-8之外，记得检查一下BOM等不可见但作怪的字符，用open直接打开文件看一看，回到最基础的层面往往能看的更清楚。

pd.read_csv()中encoding='utf-8'和'utf-8-sig'的区别相关推荐

pd.read_csv,Error tokenizing data. C error: Expected 1 fields in line 2786, saw 2
使用data = pd.read_csv("E:/test/datas/new/11-new.txt",encoding="utf-8",header=None ...
python读取csv文件忽略空值_如何跳过/忽略csv文件中的空字节pd.read_csv？
我有一个.csv文件,它有数百行/列,看起来像这样(小例子,请参阅图片,我无法复制/粘贴空字节必须手动键入它们):9142,16.04000000,14.65000000 <0x00>&l ...
pd.read_csv用法
pd.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None ...
pd.read_csv读取txt时整型变成浮点型问题解决
https://zhuanlan.zhihu.com/p/27440031 pandas中读取csv文件通常使用pd.read_csv()函数,正常情况下给出文件路径即可读取数据,不过在某些特殊情况下 ...
python的read_csv_python,pd.read_csv成熟导入
我需要导入 pd.read_csv 重复输入为第一次我导入 node_t1 = pd.read_csv('5mins/nodes/N122') node_t2 = pd.read_csv('10mi ...
pandas —— pd.read_csv 与df.to_csv
对 DataFrame 对象迭代得到的是其各个属性列的列名,自然为 list 类型: 0. read_csv 与 df.to_csv df.to_csv na_rep='NA':缺失值替换为NA he ...
pd.read_csv处理含中文的文件
使用pd.read_csv读入含中文的csv文件时,会出现错误,需要设置encoding参数,命令如下: import pandas as pdafile=pd.read_csv("test ...
pd.read_csv报错：UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xc8 in position 0: invalid contin
报错代码: data = pd.read_csv('90data.csv') # 读取数据解决方案: data = pd.read_csv('90data.csv', encoding= 'ISO- ...
pd.read_csv()中文乱码，解决方法
方法一: df = pd.read_csv('1.csv', engine='python') 方法二: df = pd.read_csv('1.csv', ...

pd.read_csv()中encoding='utf-8'和'utf-8-sig'的区别

Pandas.read_csv格式奇怪的问题

pd.read_csv()中encoding='utf-8'和'utf-8-sig'的区别相关推荐

最新文章

热门文章