解决csv文件的换行问题

csv文件就是逗号分隔值(Comma-Separated Values)文件

正如其名,文件中的内容以逗号为分割符

而当其中某个字段,也就是某个单元格的内容需要换行的时候

会在该字段上先用引号括起来,再使用\r\n来进行换行

如图

但我正在做的项目需要把csv文件导入hive进行数据分析

所以不需要使用引号内加\r\n进行换行

在我找了很多工具去解决的时候我看到了pandas,暗中庆幸我这学期有开pandas的课程

其中具体的代码如下

import pandas as pd#读取文件
df = pd.read_csv('F:\\warehouseProject\\comments.csv')
# CONTENT是我需要将其去除换行符号的字段
# map函数就是遍历这个字段,也就是这一列的每一个值,然后使用正则将换行符去除
df["CONTENT"]=df["CONTENT"].map(lambda line: line.replace("\r\n", ""))
# 最后保存成为csv文件
df.to_csv("F:\\warehouseProject\\comments3.csv")

就成功了

但是随之而来的还有一个问题,就是如果这个被我们去掉引号的字段中如果有英文的逗号的话

导出的时候就会出现有几行逗号会多一点的情况,这时候我们在源代码上进行修改

直接将这一行的数据对英文逗号进行替换

import pandas as pddf = pd.read_csv('F:\\warehouseProject\\comments.csv')
#新增
df["CONTENT"]=df["CONTENT"].map(lambda line: line.replace(",", ""))
df["CONTENT"]=df["CONTENT"].map(lambda line: line.replace("\r\n", ""))
df.to_csv("F:\\warehouseProject\\comments3.csv")

解决csv文件的换行问题相关推荐

bug：生产问题，Golang解决csv文件用excel打开中文乱码问题及常见编码和BOM头关系
bug:Golang解决csv文件用excel打开中文乱码问题 1 场景及分析场景:今天在生成csv文件之后,测试发现用office和wps打开乱码分析:经过测试之后发现使用记事本打开不乱码,同时 ...
解决csv文件打开是乱码的问题
将数据库的数据导出为CSV文件,之后用excel打开,出现了乱码情况,真心无奈,感觉都要理转文了!╮(╯﹏╰)╭ 原因:CSV是用UTF-8编码的,而EXCEL是ANSI编码,由于编码方式不一致导致出 ...
【Excel经验】解决csv文件中较长的文本内容用excel打开后显示为科学记数法格式的问题
1. 问题现象 mytest.csv 文件内容如下: "col1","col2","col3" "xx11111111111111 ...
python将excel转csv乱码_python解决csv文件用excel打开乱码问题
[问题] python输出的csv文件用excel打开,里面的中文会变成乱码,但用window下的记事本或mac下的numbers打开就正常显示. 原因是python输出的文件是utf-8编码写入的, ...
解决CSV文件中长数字以科学记数格式保存问题
今天因为需要做数据导入到数据表中,用xlxs文件做好了转化为csv文件,结果一看×××,傻眼了,全部变为科学记数了,在xlxs设置好的单元格格式为文本,可是转化为csv之后就变为了常规,而且×××也改 ...
python打开csv文件乱码_python脚本解决csv文件用excel打开乱码
import os path ='csv文件路径' targetPath = '转换编码保存路径' def getfiles(path): path_collection=[] for dirpath ...
解决CSV文件打开乱码的问题
1. 使用记事本打开CSV文件,文件-另存为,编码方式选择ANSI: 2. 保存完毕后,用EXCEL打开这个新的文件就不会出现乱码的情况了. 注意:视情况,有时候需要进行相反操作,把ANSI的转换到u ...
csv 文件打开乱码，有哪些方法可以解决
为什么80%的码农都做不了架构师?>>> 使用记事本打开CSV文件(一种数据库导出的数据格式文件) 点击菜单:文件-另存为,编码方式选择ANSI 保存完毕后,再用EXCEL打开 ...
python处理csv文件列错位_CSV文件分割与列异常处理的python脚本
#coding=utf-8 '''脚本说明用来解决csv文件的列异常问题(以逗号分隔符为例): csv文件有些列含有换行符.逗号等特殊符号,这就导致csv文件出现列异常的情况. 此脚本将csv文件输 ...

解决csv文件的换行问题

解决csv文件的换行问题相关推荐

最新文章

热门文章