Python3批量转换文本文件编码

#-- coding: utf-8 --

try:from chardet.universaldetector import UniversalDetectorIsAuto = True
except ImportError:IsAuto = False
import os
import os.path
import globdef Convert_Auto( filename,out_enc="utf-8"): ''' Re-encode text file with auto detec current encode. Need chardet Lib.
Input Parameter:filename: full path and file name, e.g. c:dir1file.txtout_enc: new encode. Default as 'utf-8'
Output Parameter
None'''
try:
f=open(filename,'rb')b= b' '
b+=f.read(1024)
u=UniversalDetector()
u.reset()
u.feed(b)
u.close()
f.seek(0)
b=f.read()
f.close()
in_enc=u.result['encoding']new_content=b.decode(in_enc, 'ignore')f=open(filename, 'w', encoding=out_enc)
f.write(new_content)
f.close()print ("Success:"+filename+"converted from"+ in_enc+"to"+out_enc +"!")except IOError: print ("Error:"+filename+"FAIL to converted from"+ in_enc+"to"+out_enc+"!")def Convert_Manu( filename,in_enc='gbk', out_enc="utf-8"): ''' Re-encode text file with manual decide input text encode.
Input Parameter:filename: full path and file name, e.g. c:dir1file.txtin_enc: current encode. Default as 'gbk'out_enc: new encode. Default as 'utf-8'
Output Parameter
None'''
try:print ("convert"+ filename)
f=open(filename,'rb')
b=f.read()
f.close()new_content=b.decode(in_enc, 'ignore')f=open(filename, 'w', encoding=out_enc)
f.write(new_content)
f.close()print ("Success:"+filename+"converted from"+ in_enc+"to"+out_enc +"!")except IOError: print ("Error:"+filename+"FAIL to converted from"+ in_enc+"to"+out_enc+"!")def explore(dir, IsLoopSubDIR=True):'''Convert files encoding.
Input:dir : Current folderIsLoopSubDIR: True -- Include files in sub folderFalse-- Only include files in current folder
Output:
NONE
'''if IsLoopSubDIR:flist=getSubFileList(dir, '.txt')
else:flist=getCurrFileList(dir, '.txt')for fname in flist:if IsAuto:Convert_Auto(fname, 'utf-8')
else:Convert_Manu(fname, 'gbk', 'utf-8')def getSubFileList(dir, suffix=''):'''Get all file list with specified suffix under current folder(Include sub folder)
Input:dir : Current foldersuffix : default to blank, means select all files.
Output:File list
'''
flist=[]for root, dirs, files in os.walk(os.getcwd()):for name in files:if name.endswith(suffix):flist.append(os.path.join(root, name))return flistdef getCurrFileList(dir, suffix=''):'''Get all file list with specified suffix under current level folder
Input:dir : Current foldersuffix : default to blank, means select all files.
Output:File list
'''if suffix=='':
files=glob.glob('*')
else:
files=glob.glob('*'+suffix)
flist=[]for f in files:flist.append(os.path.join(os.getcwd(), f))return flistdef main(): explore(os.getcwd(), True)if __name__ =="__main__":
main()

Python3批量转换文本文件编码相关推荐

一个批量转换文本文件编码的程序(Python)
一个批量转换文本文件编码的程序(Python) #!/usr/bin/python import os,sys def convert( filename, in_enc = "GBK&qu ...
powershell 批量转换文本文件编码（GBK转UTF-8）
powershell 批量转换文本文件编码(GBK转UTF-8) 01 前言 02 正文 03 后记 01 前言手头有一批SQL文件,通过某程序批量更新到Local DB.但是发现导进去后中文变乱码 ...
批量修改文本文件编码GB18030为UTF-8
批量修改文本文件编码GB18030为UTF-8 [root@localhost Desktop]# ./digui-gb18030-utf8.sh experiment digui-gb18030-u ...
shell 批量转换文件编码
相信大家在平时的跨平台编程中碰到过文件编码问题,比如在Windows代码字符编码方式是GB2312,然而转到Linux却只支持utf-8,虽然对代码部分没啥影响,但是很多中文注释部分,却一片乱码,很让 ...
使用 windows命令和iconv.exe批量转换文件编码
使用 windows命令和iconv.exe批量转换文件编码 iconv是知名的开源跨平台编码转换库,iconv.exe是iconv库在windows下的命令行工具,iconv.exe的一般用法 ...
使用windows命令和iconv.exe批量转换文件编码
使用windows命令和iconv.exe批量转换文件编码 iconv是知名的开源跨平台编码转换库,iconv.exe是iconv库在windows下的命令行工具,iconv.exe的一般用法:ico ...
python实现批量转换文件编码(批转换编码示例)
这篇文章主要介绍了python实现批量转换文件编码示例,指定文件编码.目录或扩展名即可进行转换,大家参考使用吧 # -*- coding:utf-8 -*- __author__ = 'walksky ...
python批量转换文件编码
python批量转换文件编码 3年之前 python 今天在 eclipse 中导入了个之前的 swing 项目,结果跑起来后乱码,检查代码发现竟然一部分 java 文件是 utf-8 编码, ...
一个批量转换文件编码的python脚本
一个批量转换文件编码的python脚本需要将工作目录下的文件进行转码,开始的编码是GBK的,需要将其转换为utf-8的.文件较多,手动转换肯定不行,用Python写个脚本来实现.找到一段代码参考: ...

Python3批量转换文本文件编码

Python3批量转换文本文件编码

#-- coding: utf-8 --

Python3批量转换文本文件编码相关推荐

最新文章

热门文章

Python3批量转换文本文件编码

Python3批量转换文本文件编码

#-*- coding: utf-8 -*-

Python3批量转换文本文件编码相关推荐

最新文章

热门文章

#-- coding: utf-8 --