unicode编码字符保存时使用的分割符号技巧

和常规的GB系统编码不同，GB系列编码为了把汉字和ANSI字符区分，高位是大于127的，即是 > 0xFF，可以根据这一特征去对汉字文本数据进行存储（在数据库引擎中）。

但unicode编码却没有这种规律，虽然是双字节的，但作为某种固定的数据格式存储时却有很多的不便，如果不使用特定的符号分隔，虽然用遍历的方法也能读出数据，但新效率很低，无法使用类似split的方法读取。

例如说有一列数据为：
有间牌电视 10200 张先生某条村

如果是GB系列编码的，可以用一些用户无法用到的ANSI字符保存这些数据，但对于unicode却不能这样

对于unicode，即便你用前面的区间，如0000, FFFF，也容易导致字节编码可能重复，如：”6A00 0000 6B33“ 像这种类似的情况很多，因此无法使用split方法，不过真的是没法么？

认真研究unicode编码表，会发现 FDXX- FEXX 这两个区的数据是可有可无的，因此取值 0xFFFE 或 0xFFFD 作为分隔符，就可以完全阻止重复的可能性。

事实上 0xFFFE 也是unicode编码的识别符号。(文 IT柏拉图)

unicode编码字符保存时使用的分割符号技巧相关推荐

HTML、CSS、JS对unicode编码字符的规则
JS规则 JS代码里面的unicode编码字符的语法是:\uXXXX. 也就是:斜杠+字母u+四位数十六进制编码. 比如: "\u4f60" // "你"&qu ...
java.util.Properties类,保存时保留注释及格式不变
原文地址:http://blog.csdn.net/benbenxiongyuan/article/details/53006097 参考地址:http://www.iteye.com/topic/1 ...
java xml 节点换行_Winform中对xml文件进行保存时空白节点自动换行问题的解决
场景 Winform中自定义xml配置文件后对节点进行读取与写入: 在上面实现对xml配置文件进行节点的读取和写入时,发现一个问题, 就是节点的内容为空相应的xml文件中的节点会自动换行,那么下次再进 ...
Winform中对xml文件进行保存时空白节点自动换行问题的解决
场景 Winform中自定义xml配置文件后对节点进行读取与写入: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/10053213 ...
【JAVA】Eclipse保存时出现“Save could not be completed”问题
问题: "Save could not be completed" 原因: eclipse的默认编译语言是"ISO-8859-1",这个语言不支持中文,所以如果 ...
Python pandas数据分列，分割符号固定宽度
背景数据分列在数据处理中很常见,数据分列一般指的都是字符串分割,这个功能在Excel里面很实用,处理数据非常方便,那么在pandas数据框中怎么使用呢,今天这篇文章就来详细介绍下分列模拟数据以 ...
source insight 保存时删除多余空格，去除多余空格 space tab键
上传源码时最好把空格行去掉,以前介绍了使用notepad++,现在发现,习惯用source insight的人士也可以很easy的去掉了: Options->Perferences->Fi ...
OpenCV中图像以Mat类型保存时各通道数据在内存中的组织形式及python代码访问各通道数据的简要方式...
OpenCV中图像以Mat类型保存时各通道数据在内存中的组织形式及python代码访问各通道数据的简要方式以最简单的4 x 5三通道图像为例,其在内存中Mat类型的数据组织形式如下: 每一行的每一列 ...
DreamWeaver文件保存时，提示发生共享违例问题的解决方法
在学习牛腩老师的JS视频中,视频中的例子要求实现一个是23个3相乘的结果,在用Dreamweaver制作时,, <script language="javascript" t ...
Python使用matplotlib保存图像时发生自动裁剪丢了部分标签信息解决方案（plt.savefig保存时丢失了部分标签字符）
Python使用matplotlib保存图像时发生自动裁剪丢了部分标签信息解决方案(plt.savefig保存时丢失了部分标签字符) 目录

unicode编码字符保存时使用的分割符号技巧

unicode编码字符保存时使用的分割符号技巧相关推荐

最新文章

热门文章