摘要

虚拟人和数字人是人工智能技术在现实生活中的具体应用，它们可以为人们的生活和工作带来便利和创新。在直播间场景里，虚拟人和数字人可用于直播主播、智能客服、营销推广等。接入GPT的虚拟人像是加了超强buff，具备更强大的自然语言处理能力和智能对话能力，可以实现更加智能化、自然化的人机交互。

直播主播：虚拟人可以作为直播间的主播角色，通过与粉丝的对话和互动，提高粉丝的互动效果和兴趣
代替客服：数字人可以作为客服角色，通通过自然语言处理和智能对话，解决客户的问题，并提高客户满意度。
营销推广：虚拟人可以作为品牌形象进行推广，数字人可以通过客观数据进行精准营销，提高粉丝的黏性和忠诚度。

前言

续上一篇文章《GPT虚拟直播Demo系列（一）｜GPT接入直播间实现主播与观众互动》，我们实现了ChatGPT与ZIM的对接。使得加入聊天群组就相当于加入了直播间，实时与ChatGPT文字互动。但还缺了点什么：直播间可不是只有文字，还有主播！接下来进入本文主题：如何接入虚拟人直播。

虚拟主播我们可以通过即构Avatar进行个人化定制，之前在他们《官网》体验过Avatar Demo（注意：开通需联系官方客服开通）一键可以打造多元化风格，支持Q版、二次元、动漫、拟人等多种风格，即构自研虚拟形象引擎强大AI驱动能力，四种驱动方式：表情驱动、声音驱动、文本驱动、肢体驱动。根据本期Demo需求定制了拟人版本的主播小姐姐。即构AvatarQ版形象软萌可爱含丰富的服饰和妆容素材库，且即构Avatar的文本驱动方式刚好符合咱们的业务需求。

1 加入ZIM房间，实时收发消息

加入ZIM房间跟上一篇文章介绍的nodejs版原理一致：

先登录ZIM

加入房间或创建房间

发送弹幕

监听房间消息，如果来自ChatGPT则朗读

1.1 创建ZIM对象

首先引入ZIM库后，可以调用ZIM的create函数创建ZIM对象，然后调用ZIM对象的setEventHandler函数，将ZIMEventHandler对象传入。ZIMEventHandler主要用于处理一些回调事件如用户上线等回调事件。

public class ZIMMngr {/*** 创建ZIM对象*/private ZIM createZIM(Application app, ZIMEventHandler handler) {// 创建 ZIM 对象，传入 APPID 与 Android 中的 ApplicationZIM zim = ZIM.create(KeyCenter.APP_ID, app);zim.setEventHandler(handler);return zim;}//其他代码略...
}

1.2 群聊-登录、创建房间、加入房间

登录即构服务首选需要token，生成token算法在附件源码已经给出，直接调用即可。但是需要注意，在这个Demo中直接在客户端上生成了，这是非常危险的操作，因为你的密钥和appid暴露出来了，黑客可以通过密钥和appid蹭你的额度费用。因此，建议把token计算放在服务器端生成。

ZIM的createRoom函数用于创建房间，需要提供房间号；joinRoom函数用于加入房间，同样也需要提供房间号。具体代码如下所示：

public class ZIMMngr {//其他代码略..../*** 登录zim*/public void login(String userId, CB cb) {String token = ZIMMngr.getToken(userId);ZIMMngr.login(zim, token, userId, new ZIMLoggedInCallback() {@Overridepublic void onLoggedIn(ZIMError errorInfo) {if (errorInfo.getCode() != ZIMErrorCode.SUCCESS) {Log.e(TAG, "login error:" + errorInfo.getMessage());cb.complete(false, "登录失败");} else {cb.complete(true, null);}}});}/*** 加入房间*/public void joinRoom(String roomId, CB cb) {zim.joinRoom(roomId, new ZIMRoomJoinedCallback() {@Overridepublic void onRoomJoined(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {Log.e(TAG, ">>" + errorInfo.code);if (errorInfo.code == ZIMErrorCode.ROOM_DOES_NOT_EXIST) {cb.complete(false, "房间不存在！");} else if (errorInfo.code == ZIMErrorCode.SUCCESS || errorInfo.code == ZIMErrorCode.THE_ROOM_ALREADY_EXISTS) {cb.complete(true, roomInfo.baseInfo.roomName);}}});}/*** 创建房间*/public void createRoom(String masterId, String roomId, String roomName, CB cb) {ZIMRoomInfo groupInfo = new ZIMRoomInfo();groupInfo.roomID = roomId;groupInfo.roomName = roomName;zim.createRoom(groupInfo, new ZIMRoomCreatedCallback() {@Overridepublic void onRoomCreated(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {if (errorInfo.code == ZIMErrorCode.SUCCESS) {inviteJoinRoom(masterId, roomId, CHATGPT_ID, cb);//这里把chagpt的用户id硬编码} else {Log.e(TAG, "创建房间失败：" + errorInfo.message);cb.complete(false, "房号已存在，请更换一个房间号！");}}});}
}

1.3 即时通讯实现收发消息

接下来实现消息收发，主动发送消息与监听接收消息。注意，这里因为我们只关注弹幕消息，因此非弹幕消息过滤。发送消息封装两类：

P2P
ROOM

注意，因为我们这里只用弹幕消息，因此ROOM消息只表示弹幕消息。

public class ZIMMngr {//定义属性略..../*** 收到房间消息*/private void onRcvMsg(ArrayList<ZIMMessage> messageList) {if (mListener == null) return;for (ZIMMessage zimMessage : messageList) {if (zimMessage instanceof ZIMBarrageMessage) {//只看弹幕消息ZIMBarrageMessage zimTextMessage = (ZIMBarrageMessage) zimMessage;if (zimMessage.getTimestamp() < this.startTime)continue;String fromUID = zimTextMessage.getSenderUserID();ZIMConversationType ztype = zimTextMessage.getConversationType();String toUID = zimTextMessage.getConversationID();Msg.MsgType type = Msg.MsgType.P2P; String data = zimTextMessage.message; Msg msg = Msg.parseMsg(data, fromUID, toUID, ztype == ZIMConversationType.ROOM);mListener.onRcvMsg(msg);}}} /*** 发送zim消息* */public void sendMsg(Msg msg, CB cb) {//p2p消息则发送Text，room发送弹幕类型消息ZIMMessage zimMsg = null;ZIMConversationType type;if (msg.type == Msg.MsgType.P2P) {ZIMTextMessage m = new ZIMTextMessage();m.message = msg.msg;zimMsg = m;type = ZIMConversationType.PEER;} else {ZIMBarrageMessage m = new ZIMBarrageMessage();m.message = msg.msg;zimMsg = m;type = ZIMConversationType.ROOM;}ZIMMessageSendConfig config = new ZIMMessageSendConfig();// 消息优先级，取值为 低:1 默认,中:2,高:3config.priority = ZIMMessagePriority.LOW;// 设置消息的离线推送配置ZIMPushConfig pushConfig = new ZIMPushConfig();pushConfig.title = "离线推送的标题";pushConfig.content = "离线推送的内容";config.pushConfig = pushConfig; zim.sendMessage(zimMsg, msg.toUID, type, config, new ZIMMessageSentCallback() {@Overridepublic void onMessageAttached(ZIMMessage message) {} @Overridepublic void onMessageSent(ZIMMessage message, ZIMError errorInfo) { cb.complete(errorInfo.code == ZIMErrorCode.SUCCESS, errorInfo.message); }}); }  // 其他代码略....
}

上面代码只挑选了关键函数, 更多关于即构ZIM接口与官方Demo可以点击参考这里，或者参考附录源码。

2 创建虚拟形象-即构Avatar

接下来需要创建虚拟形象，读者可以参考官方文档获取更多详细信息。

需要注意的是，通过官方封装的ZegoCharacterHelper可以非常简单的创建Avatar。创建虚拟形象封装到setCharacter函数中，在程序初始化期间，需要执行initRes函数，将资源拷贝到SDCard。作为演示，这里是将Assets里面的相关资源拷贝到SDCard。在实际项目中，建议将资源存放在服务器端，通过离线下载的方式存储到SDCard。这样既可以降低安装包的大小，也更灵活。

public class AvatarMngr implements ZegoAvatarServiceDelegate {//属性定义略.... /*** 设置虚拟形象如衣服、头发、性别等*/private void setCharacter(User user) {  // 创建 helper 简化调用// base.bundle 是头模, human.bundle 是全身人模mCharacterHelper = new ZegoCharacterHelper(FileUtils.getPhonePath(mApp, "human.bundle", "assets"));mCharacterHelper.setExtendPackagePath(FileUtils.getPhonePath(mApp, "Packages", "assets"));// 设置形象配置mCharacterHelper.setDefaultAvatar(ZegoCharacterHelper.MODEL_ID_FEMALE);// 角色上屏, 必须在 UI 线程, 必须设置过avatar形象后才可调用(用 setDefaultAvatar 或者 setAvatarJson 都可以)mCharacterHelper.setCharacterView(user.avatarView, () -> {});mCharacterHelper.setViewport(ZegoAvatarViewState.half);mCharacterHelper.setPackage("ZEGO_Girl_Hair_0001");mCharacterHelper.setPackage("ZEGO_Girl_Tshirt_0001_0002");mCharacterHelper.setPackage("facepaint5");mCharacterHelper.setPackage("irises2");  updateUser(user);  }   private void initRes(Application app) {// 先把资源拷贝到SD卡，注意：线上使用时，需要做一下判断，避免多次拷贝。资源也可以做成从网络下载。if (!FileUtils.checkFile(app, "AIModel.bundle", "assets"))FileUtils.copyAssetsDir2Phone(app, "AIModel.bundle", "assets");if (!FileUtils.checkFile(app, "base.bundle", "assets"))FileUtils.copyAssetsDir2Phone(app, "base.bundle", "assets");if (!FileUtils.checkFile(app, "human.bundle", "assets"))FileUtils.copyAssetsDir2Phone(app, "human.bundle", "assets");if (!FileUtils.checkFile(app, "Packages", "assets"))FileUtils.copyAssetsDir2Phone(app, "Packages", "assets");}//...//其他代码略....//...
}

除了衣服、首饰、发型等"装饰类"形象定义，还可以捏脸，这里不详细描述，建议读者前往官网查看。即构Avatar官网。

4 直播间虚拟人与粉丝互动聊天

创建完虚拟人后，接下来将收到的ChatGPT消息朗读出来，使虚拟主播嘴巴动起来，互动玩法更好。首先执行initTextApi函数，初始化本地文字驱动引擎。接下来就可以调用ZegoTextAPI的playTextExpression函数，驱动虚拟人语音播报文字内容。

/*** 朗读文字（嘴唇+语音）
*/
public void playText(String text) {if (mTextApi == null) return;mTextApi.playTextExpression(text);Log.e(TAG, ">>>>已播放" + text);
}
/*** 初始化文本驱动接口
*/
private void initTextApi() {mTextApi = new ZegoTextAPI(mCharacterHelper.getCharacter());mTextApi.setTextExpressionCallback(new ITextExpressionCallback() {/*** 文本驱动播放启动时，回调*/@Overridepublic void onStart() {Log.d(TAG, "text drive start");}/*** 文本驱动播放出错时，回调* @param errorCode 错误码，详情请参考 [常见错误码 - 文本驱动](https://doc-zh.zego.im/article/14884#2)。*/@Overridepublic void onError(int errorCode, String msg) {}/*** 文本驱动播放结束时，回调*/@Overridepublic void onEnd() {Log.d(TAG, "text drive end");}});
}

文本驱动部分代码比较简单，也反映了官方对这块封装的比较好。播报文字主要借助即构avatar的文本能力，读者可以查看官方文档描述：官方文档。仔细阅读可以发现，关键核心代码非常少，附件里面的其他代码主要是开发App非核心代码。

本文演示了从0开发、无须服务端开发完成的基于ChatGPT的虚拟人直播，任何人下载该App即可加入直播间。一些小伙伴可能并不需要开发一个虚拟人直播平台，而是想着在抖音、快手、视频号等平台实现虚拟人直播。这里提供一个实现思路：

复用本文代码，可以实现ChatGPT回复、并将回复的文字驱动虚拟人
使用直播伴侣等工具录制虚拟人，推流到抖音平台
去github找开源工具，实时爬取直播间的弹幕
读取到弹幕后，调用ChatGPT得到回复，再回到第1步。

未来想象方面，虚拟人接入GPT可以实现更加智能化、个性化的服务，可以预见的是，未来的虚拟人将更加人性化，通过情感计算等技术，可以实现更加真实、自然的人机交互。虚拟人还可以与物理机器人结合，成为未来的机器人助手，为人们的生活和工作提供更加便利的服务。

5 Github源码

供一个实现思路：

复用本文代码，可以实现ChatGPT回复、并将回复的文字驱动虚拟人
使用直播伴侣等工具录制虚拟人，推流到抖音平台
去github找开源工具，实时爬取直播间的弹幕
读取到弹幕后，调用ChatGPT得到回复，再回到第1步。

5 Github源码

ChatGPT虚拟直播源码

GPT虚拟直播Demo系列（二）｜无人直播间实现虚拟人回复粉丝相关推荐

GPT虚拟直播Demo系列（一）｜GPT接入直播间实现主播与观众互动
摘要 ChatGPT和元宇宙都是当前数字化领域中非常热门的技术和应用.结合两者的优势和特点,可以探索出更多的应用场景和商业模式.例如,在元宇宙中使用ChatGPT进行自然语言交互,可以为用户提供更加智 ...
抖音虚拟主播进行直播无人值守直播（2：无人直播互动源码）
前面中写了如何抓取抖音直播弹幕,今天就在抓取到的弹幕与进入的观众进行互动. [订阅专栏获取相关资料] 先看效果,再写实现的抖音无人直播的业务逻辑以及源代码. motionface配置语音和文字演示效果 ...
直播｜解密「无人直播」操作全流程，带你躺赢
最近,播妞发现很多朋友在咨询"无人直播"技术,对于不了解的人来说可能会有一个大大的问号?直播也可以没有人吗?是怎么做到的? 简单来说,无人直播也统称虚拟直播,是通过调整手机/PC摄 ...
抖音直播伴侣和快手直播伴侣如何实现无人直播还能防封号
近期,做了一个usb摄像头的开发,实现循环播放优盘内的多个视频,声音正常,没有杂音. 众所周知抖音直播伴侣和快手直播伴侣是官方出的用于电脑端直播的软件,但是如果播放视频是会被封号的.那么怎么才能既能直 ...
纯硬件无人直播手机，不需要电脑，不需要虚拟摄像头，可人工干预、可粉丝互动，半无人直播
纯硬件无人直播手机,硬件和系统root结合,插上视频U盘就可以支持所有平台的无人直播. 抖音无人直播.快手无人直播.YY无人直播.钉钉无人直播.花椒无人直播.Kugoo无人直播.vivo无人直播.花粉 ...
如何基于ChatGPT+Avatar搭建24小时无人直播间
0 前言最近朋友圈以及身边很多朋友都在研究GPT开发,做了各种各样的小工具小Demo,AI工具用起来是真的香!在他们的影响下,我也继续捣鼓GPT Demo,希望更多的开发者加入一起多多交流. 上一篇 ...
无人直播慢直播设备介绍
参考链接1:https://linkpi.cn/archives/1791 参考链接2:https://blog.csdn.net/weixin_45326556/article/details/12 ...
关于“无人直播”看这一篇就够了
在玩短视频的用户应该都听说过"无人直播",攀登读书无人直播半年涨粉3亿,打开了国内抖音无人直播的大门.Tiktok作为一款新晋的短视频APP,与抖音一样属于字节跳动旗下的产品,而现 ...
聊一聊tiktok上面的无人直播可行吗？
无人直播这个技术上的东西,在国内也是五花八门.所以无人直播在国内玩得都是比较成熟了,现在在TikTok上频繁的刷到.因为TikTok还没有开放推送流权限,当然部分开通小店的账号是有这个权限的,很多玩家 ...

GPT虚拟直播Demo系列（二）｜无人直播间实现虚拟人回复粉丝

摘要

前言

1 加入ZIM房间，实时收发消息

1.1 创建ZIM对象

1.2 群聊-登录、创建房间、加入房间

1.3 即时通讯实现收发消息

2 创建虚拟形象-即构Avatar

4 直播间虚拟人与粉丝互动聊天

5 Github源码

5 Github源码

GPT虚拟直播Demo系列（二）｜无人直播间实现虚拟人回复粉丝相关推荐

最新文章

热门文章