unicode emoji是4个字节的,存不进MySQL里,找到一个转义的库http://code.iamcal.com/php/emoji/,但是转为Unicode之后,还是4个字节,一样存不进,应该说根本没转。转为其他格式的emoji又怕以后新增了表情不好做,你们在不改数据库编码的前提下,是怎么弄的?

方法1:base_encode64

这种方法是可以,但是旧数据没有经过encode操作,取数据的时候如果统一进行decode的话,旧数据会丢失的。

方法2:urlencode

这个似乎可以,对没有经过encode的数据进行decode也不会有影响,而且多次decode似乎也不会有影响。你们说这个方法有缺陷吗?

=======================

一个发现,微信获取用户基本信息的时候,笑哭那个表情print_r出的是\ud83d\ude02,而我存储的时候,报错说这个 \xF0\x9F\x98\x82 值不能存储,请问这是怎么回事,自动转码了,转成的这是什么?是微信转码过了吗?

=======================

方法3:最后采用了下面采纳的那个方法,因为我觉得它有下面几个优点:

1、那个方法只转换表情,不会转换中文,所以数据还是直接可读的

数据库中存储起来是这样的,

后面的\ud83d\udca5可以随意复制粘贴,而显示出来是这样的,

2、不会把表情转换为其它标准,只有一个简单的,固定的转换算法,也就是说不需要一个表情库来对照着转换,所以以后其它人要使用这个数据的时候,也很容易知道每个表情是对应的哪个。就算苹果大爷又增加了表情,也不需要做什么额外的修改。

3、可以无限decode输出的都是正确的内容。因为有的时候可能需要在一次请求中的两个地方做decode,其它decode多次会把正确的数据改成其它数据,这个不会。

缺点:

1、看了下面的代码就知道,这个是强制修改字符编码中,指定区间内的编码,也就说有可能误杀,也有可能有超出这个区间的emoji没杀到。不过仅仅是在字符前加反斜杠,即使误杀了,发现之后也很容易改回来。

数据库中发现有这样的

,是漏杀了,但是不知道为什么,这个可以直接存数据库。

/**

把用户输入的文本转义(主要针对特殊符号和emoji表情)

*/

function userTextEncode($str){

if(!is_string($str))return $str;

if(!$str || $str=='undefined')return '';

$text = json_encode($str); //暴露出unicode

$text = preg_replace_callback("/(\\\u[ed][0-9a-f]{3})/i",function($str){

return addslashes($str[0]);

},$text); //将emoji的unicode留下,其他不动,这里的正则比原答案增加了d,因为我发现我很多emoji实际上是\ud开头的,反而暂时没发现有\ue开头。

return json_decode($text);

}

/**

解码上面的转义

*/

function userTextDecode($str){

$text = json_encode($str); //暴露出unicode

$text = preg_replace_callback('/\\\\\\\\/i',function($str){

return '\\';

},$text); //将两条斜杠变成一条,其他不动

return json_decode($text);

}

回复内容:

unicode emoji是4个字节的,存不进MySQL里,找到一个转义的库http://code.iamcal.com/php/emoji/,但是转为Unicode之后,还是4个字节,一样存不进,应该说根本没转。转为其他格式的emoji又怕以后新增了表情不好做,你们在不改数据库编码的前提下,是怎么弄的?

方法1:base_encode64

这种方法是可以,但是旧数据没有经过encode操作,取数据的时候如果统一进行decode的话,旧数据会丢失的。

方法2:urlencode

这个似乎可以,对没有经过encode的数据进行decode也不会有影响,而且多次decode似乎也不会有影响。你们说这个方法有缺陷吗?

=======================

一个发现,微信获取用户基本信息的时候,笑哭那个表情print_r出的是\ud83d\ude02,而我存储的时候,报错说这个 \xF0\x9F\x98\x82 值不能存储,请问这是怎么回事,自动转码了,转成的这是什么?是微信转码过了吗?

=======================

方法3:最后采用了下面采纳的那个方法,因为我觉得它有下面几个优点:

1、那个方法只转换表情,不会转换中文,所以数据还是直接可读的

数据库中存储起来是这样的,

后面的\ud83d\udca5可以随意复制粘贴,而显示出来是这样的,

2、不会把表情转换为其它标准,只有一个简单的,固定的转换算法,也就是说不需要一个表情库来对照着转换,所以以后其它人要使用这个数据的时候,也很容易知道每个表情是对应的哪个。就算苹果大爷又增加了表情,也不需要做什么额外的修改。

3、可以无限decode输出的都是正确的内容。因为有的时候可能需要在一次请求中的两个地方做decode,其它decode多次会把正确的数据改成其它数据,这个不会。

缺点:

1、看了下面的代码就知道,这个是强制修改字符编码中,指定区间内的编码,也就说有可能误杀,也有可能有超出这个区间的emoji没杀到。不过仅仅是在字符前加反斜杠,即使误杀了,发现之后也很容易改回来。

数据库中发现有这样的

,是漏杀了,但是不知道为什么,这个可以直接存数据库。

/**

把用户输入的文本转义(主要针对特殊符号和emoji表情)

*/

function userTextEncode($str){

if(!is_string($str))return $str;

if(!$str || $str=='undefined')return '';

$text = json_encode($str); //暴露出unicode

$text = preg_replace_callback("/(\\\u[ed][0-9a-f]{3})/i",function($str){

return addslashes($str[0]);

},$text); //将emoji的unicode留下,其他不动,这里的正则比原答案增加了d,因为我发现我很多emoji实际上是\ud开头的,反而暂时没发现有\ue开头。

return json_decode($text);

}

/**

解码上面的转义

*/

function userTextDecode($str){

$text = json_encode($str); //暴露出unicode

$text = preg_replace_callback('/\\\\\\\\/i',function($str){

return '\\';

},$text); //将两条斜杠变成一条,其他不动

return json_decode($text);

}

我是这么玩儿的

给一个标准的解决方案:

mysql的版本必须为v5.5.3或更高

把数据库的编码改成utf8mb4 -- UTF-8 Unicode

然后需要存储emoji表情的字段选择utf8mb4_general_ci

数据库连接也需要改为utf8mb4

设置完成后,应该可以看到如下类似字符集设置结果。那么可以直接的存入数据库,无需做任何额外的事情了。

mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';

+--------------------------+--------------------+

| Variable_name | Value |

+--------------------------+--------------------+

| character_set_client | utf8mb4 |

| character_set_connection | utf8mb4 |

| character_set_database | utf8mb4 |

| character_set_filesystem | binary |

| character_set_results | utf8mb4 |

| character_set_server | utf8mb4 |

| character_set_system | utf8 |

| collation_connection | utf8mb4_unicode_ci |

| collation_database | utf8mb4_unicode_ci |

| collation_server | utf8mb4_unicode_ci |

+--------------------------+--------------------+

rows in set (0.00 sec)

我在做微信公众平台开发时遇到过这个问题,微信用户的昵称可以包含表情(坑爹- -!)。于是我就将整个昵称转换成HEX字符串存在MySQL中,目前用户1W+,系统稳定,题主可以参考一下此方案。

MySQL支持hex() and unhex()函数。Java可以使用org.apache.commons.codec.binary.Hex工具类。其他语言也有相应的方法。

试试微博或qq里面的那种方式?用简单的编码来映射,比如微笑可以用 [wx] 或 /wx 。不过表情多了之后4个字符不怎么够用。。。

urldecode

我看了一下 decode 的源码,应该是不会出现问题。

只要没有 % 解码后肯定还是原来的字符(串),有 % 会出现两种情况,一种是解码成功,这个时候肯定就不是原来的字符串了,一种是解码失败,抛出异常(其实这个异常可以作为是否 encode的标准)。

解码还算是比较严格吧,作为用户名的情况下 出现 % 还解码成功的概率比较小吧,对于这部分你可以手动改数据库,应该不会有很多。

你试试这个函数,之前弄微信自定义菜单的时候,也接触过Emoji表情,当时看到用的这个函数把Emoji表情的编码给转换了。

function utf8_bytes($cp) {

if ($cp > 0x10000){

# 4 bytes

return chr(0xF0 | (($cp & 0x1C0000) >> 18)).

chr(0x80 | (($cp & 0x3F000) >> 12)).

chr(0x80 | (($cp & 0xFC0) >> 6)).

chr(0x80 | ($cp & 0x3F));

}else if ($cp > 0x800){

# 3 bytes

return chr(0xE0 | (($cp & 0xF000) >> 12)).

chr(0x80 | (($cp & 0xFC0) >> 6)).

chr(0x80 | ($cp & 0x3F));

}else if ($cp > 0x80){

# 2 bytes

return chr(0xC0 | (($cp & 0x7C0) >> 6)).

chr(0x80 | ($cp & 0x3F));

}else{

# 1 byte

return chr($cp);

}

}

使用BOLO类型

将数据库编码改为 utf8mb4

我这个刚解决的这个问题(后端是java实现的,数据库Mysql),供参考。

1、修改存储emoji字段编码,例如放在username字段中:

ALTER TABLE user CHANGE username username VARCHAR(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci default null;

2、java在执行数据库插入、更新操作前,要先执行 sql语句"set names utf8mb4" 语句。

https://github.com/iamcal/php-emoji

我是用这个处理的~

http://www.emoji-cheat-sheet.com/

有一种编码叫 utfmb4,支持 4 位长度的 utf8 编码

喏,你的 MySQL 版本必须为 5.5 以上的

不用转,直接数据库转成utf8mb4, 我以前就是这么干的

不用更改整个数据库的把。。。create xxx() charset=utf8mb4 单表 utf8mb4就行了把

因为我的项目中需要对字数有限制的需求,涉及到逐字计数,在这基础上我增加了emoji的功能完美实现。你需要代码的话请再告诉我,我提供给你。

本文原创发布php中文网,转载请注明出处,感谢您的尊重!

php数据库插入表情转换,如何转义emoji表情,让它可以存入utf8的数据库?相关推荐

  1. php mysql表情符号_php + mysql 存入表情 【如何转义emoji表情,让它可以存入utf8的数据库】...

    方法1:base_encode64 这种方法是可以,但是旧数据没有经过encode操作,取数据的时候如果统一进行decode的话,旧数据会丢失的. 1 方法2:urlencode 这个似乎可以,对没有 ...

  2. PHP如何处理emoji表情存入utf8的数据库

    一般Mysql表设计时,都是用UTF8字符集的.把带有emoji的昵称字段往里面insert一下就没了,整个字段变成了空字符串.这是怎么回事呢?原来是因为Mysql的utf8字符集是3字节的,而emo ...

  3. mysql ud83cudf19__如何转义emoji表情,让它可以存入utf8的数据库?

    unicode emoji是4个字节的,存不进MySQL里,找到一个转义的库http://code.iamcal.com/php/emoji/,但是转为Unicode之后,还是4个字节,一样存不进,应 ...

  4. emoji mysql 转 unicode_如何转义emoji表情,让它可以存入utf8的数据库?

    unicode emoji是4个字节的,存不进MySQL里,找到一个转义的库http://code.iamcal.com/php/emoji/,但是转为Unicode之后,还是4个字节,一样存不进,应 ...

  5. mysql 表情 转义_如何转义emoji表情,让它可以存入utf8的数据库?

    unicode emoji是4个字节的,存不进MySQL里,找到一个转义的库http://code.iamcal.com/php/emoji/,但是转为Unicode之后,还是4个字节,一样存不进,应 ...

  6. java微信昵称表情_java 微信昵称emoji表情保存失败 无法存入数据库(二)

    前言: 最近开发的iOS项目因为需要用户文本的存储,自然就遇到了emoji等表情符号如何被mysql DB支持的问题.困扰了数日,在就要绝望放弃的边缘,终于完成了转换和迁移.在此特别分析和整理,方便更 ...

  7. mysql 过滤微信昵称表情_微信昵称emoji表情的过滤

    前言 微信昵称现在五花八门,可以加入各种表情符号.这些符号存储到mysql数据库时存在一些问题.这里记录下我的解决方法. 问题 第一种方案:修改数据库编码,支持存储emoji表情 mysql的utf8 ...

  8. mysql 存储表情_MySQL支持存储emoji表情

    项目中,项目之前使用的utf8的编码集,但是项目测试过程中,发现需要支持emoji表情,所以考虑将utf8编码更改为utf8mb4. emoji表情是1个字符占4个字节,而utf8编码只支持1-3个字 ...

  9. mysql存储emoji表情_MySQL中支持emoji表情的存储

    由于需要实现emoji表情评论的功能,所以数据库需要支持emoji表情的存储,根据查询的资料最终实现了该功能,现将实现的过程以及过程遇到的一些问题记录下来,供大家参考和交流. mysql的utf8编码 ...

  10. mysql支持表情输入_mysql支持emoji表情

    最近开发的iOS项目由于须要用户文本的存储,天然就遇到了emoji等表情符号如何被mysql DB支持的问题.困扰了很多天,在就要绝望放弃的边缘,终于完成了转换和迁移.在此特别分析和整理,方便更多人. ...

最新文章

  1. 叉乘(三)——线段与线段相交吗?
  2. ajax返回的是流如何转换为pdf,如何在AJAX请求成功响应中返回PDF文件
  3. SpringCloud-服务注册与实现-Eureka创建服务提供者(附源码下载)
  4. 高德地图 街道范围_高德地图发布交通“评诊治”系统:针对各类交通拥堵场景“因地制宜”...
  5. CSS3 选择器 基本选择器介绍
  6. 音视频开发(41)---ROKID桌面机器人麦克风阵列拆解分析及设计建议
  7. Kylin之Caused by :...The table :DWD_ORDER_INFO Dup key found
  8. QString和std::string转换乱码与sqlite存储汉字乱码
  9. Embarcadero官方出品Delphi入门教程学习视频:2小时轻松掌握Delphi快速开发跨平台应用程序APP软件菜鸟教程
  10. QQ自带截图功能(你想不到的强大, 必看,长截图/翻译/文本识别/钉在桌面/录屏)
  11. CAD全称AutoCAD (全系列中文版软件+注册机下载) 2004-2020 安装视频教程
  12. 关于微信小程序的基本介绍以及下载注意
  13. 如何阻止搜索引擎收录指定网页
  14. Dazdata BI之PDF魔幻输出
  15. 极速办公(excel)如何使用SUM函数求和
  16. cesium实用功能-选中gltf、glb拖动修改位置,bim没试
  17. 百度以图搜图API介绍
  18. 实验: GVRP 配置,三层交换机通讯 ,VLAN 间路由,单臂路由与路由器子接口的配置,vlan-单臂路由技术
  19. iPhone的13个隐秘功能
  20. 计算机语言改成英语,win7如何更改语言 电脑语言改成英文的方法

热门文章

  1. 计算机主板型号尺寸,10大华硕主板型号简介,组装电脑的朋友可别错过
  2. java实现坦克大战
  3. Arch系统软件列表
  4. java webservice 入门教程_WebService入门实例教程
  5. C标准中的转义字符以及ASC码表
  6. 浅谈关于Java中map这个类衍生的类
  7. 从智能门锁,看3D视觉的安全性突围
  8. 台安PLC通过手机热点远程在线模拟,远程编程,远程调试
  9. 各个版本eclipse官方下载地址
  10. 计算机视觉应用培训心得体会,三维计算机视觉学习感想