离线语音的学习总结

  • 一、模型制作
    • 1. 概述
    • 2、列表视图
    • 3、语言模型制作
    • 4、上传命令词制作文件
    • 5、命令词规范
    • 6、表单的提交
    • 7、语言模型下载
    • 8、模型替换
      • 8.1 语言模型压缩包内各文件夹说明
      • 8.2 SDK内文件替换
    • 9 .cmd_info配置注意事项

一、模型制作

1. 概述

该功能模块为个人用户以及企业用户共有,用户可以根据自己的需求,在对应的样例表格中填写对应词条,平台会在线生成语言模型,完成后放入SDK开发包中编译生成固件。
网址https://platform.chipintelli.com/web#action=235&menu_id=198
用户可以在进入“语言模型”模块后,点击浏览器上方的“语言模型”进入该模块,如下图所示

2、列表视图

点击进入语言模型界面后,首先进入语言模型功能模块的列表视图,在这里将会展示用户自己的语言模型记录。每条记录包含了客户名称、作者、创建日期以及输入的芯片型号等参数,如下图所示,用户能够在此处查询自己的语言模型制作记录。

3、语言模型制作

  • ①项目所属客户名称:填写该语言模型对应的客户名称;
  • ②芯片型号:选择对应的芯片型号;
  • ③产品类型:选择语言模型用于的产品,目前有大于100种产品类型,用户可以点击该下拉列表中的“搜索更多”按钮找到符合该语言模型的产品,如果列表中没有,可以选择“其他”;
  • ④语言类型:选择语言模型对应的语言,目前有中文、英文、中混英、日文供用户选择;
  • ⑤声学模型类型:在选择了芯片型号和语言类型后,该下拉列表会自动出现对应的可供选择的声学模型,用户可以根据自己的需求进行选择;
  • ⑥下载样例:提供了命令词制作文件的模板,根据用户的语言类型选择,会自动生成对应语言样例的下载链接;
  • ⑦上传命令词制作文件:用户可以按要求的格式将希望生成语言模型的命令词填入一个文件中,按此按钮上传到平台中,平台使用该文件制作对应的语言模型;
  • ⑧注意事项:如若生成文件失败,可以查看注意事项里的内容,会帮助您快速找到问题所在;
  • ⑨保存or丢弃:确认无误后,选择保存,进行文件生成。

4、上传命令词制作文件

上传的命令词制作文件格式模板可以通过创建表单界面中的“下载样例”获取。目前在语言模型功能模块中支持上传命令词制作和固件制作文件(固件制作文件请详见“语音固件”章节中相应描述)。用户可以按照该模板的格式,填写需要的命令词,注明其类型及其他功能,保存后上传。

中文样例如下图:
英文样例如下图:

日文样例如下图:

5、命令词规范

中文命令词

  1. 一般为4-6个字,4个字最佳,过短容误识高,过长不便用户呼叫和记忆;
  2. 命令词中相邻汉字的声韵母区分度越大越好;
  3. 符合用户的语言习惯,尽量采用常用说法,内容具体直接;
  4. 应避免使用日常用语,如:“吃饭啦”;
  5. 生僻字和零声母字应尽量避免,如“语音识别”中“语音”两个1. 字均为零声母字;
  6. 命令词中的字最好不要有语气词,如“啊”、“呢”等;
  7. 应避免使用叠词,如:“你好你好”;
  8. 中文命令词中只能由汉字组成,不允许有空格,逗号等其他字符;
  9. 命令词中的数字需要以汉字表示,如“调高一度”;
  10. 若您还未确定命令词,建议您从文档中心的“命令词推荐”中选择。

英文命令词

  1. 建议由2-4个单词(4-6个音节)组成,过短容易出现高误识,过长不便用户记忆;
  2. 命令词间音节区分度越大越好;
  3. 符合用户的语言习惯,尽量采用常用说法,内容具体直接;
  4. 应避免使用日常用语,如:“HI、HELLO”;
  5. 避免使用相似音节,词的发音清晰响度要大,如避免同时使用TURN-ON和TURN-OFF;
  6. 应避免使用叠词,如:“HELLO-HELLO”。

日文命令词

  1. 一条日语命令词建议由4-6个音节的日文组成,过短容易出现高误识,过长不便用户呼叫和记忆;
  2. 命令词间音节区分度越大越好;
  3. 符合用户的语言习惯,尽量采用常用说法,内容具体直接;
  4. 应避免使用日常用语,如:“はい、おはよ”;
  5. 避免使用相似音节,词的发音清晰响度要大,如;下げて(sa ge te)、上げて(a ge te);
  6. 应避免使用叠词,如:“ラボ-ラボ”。

其他注意事项

  • 中英日文命令词上传附件及格式参考样例。
  • 为了保证唤醒率,降低误唤醒,一个模型仅允许一个唤醒词。
  • 建议下载样例在样例中输入想要的命令词,自己建立的Excel表格容易出错

6、表单的提交

用户在制作语言模型时,需先新建表单,填写好表单中对应的内容,如下图所示:

填写完成后,点击“上传您的文件”,上传已经按照规范做好的命令词制作文件。
上传完成后,点击左上角的“保存”按键;
等待文件被平台加载;


请注意:加载的过程当中请勿退出或者刷新界面,否则制作进度将会终止

7、语言模型下载

文件加载完成后,请点击“下载声学模型”和“下载语言模型”按钮,下载对应的声学模型和语言模型,放入SDK开发包中使用。

8、模型替换

8.1 语言模型压缩包内各文件夹说明

  • CmdWordStructure:该文件夹存放的内容为{cmd_info}表格,为用户词条置信度相关参数配置文件;
  • GfstCmd:该文件夹存放的内容为平台生成的命令词模型文件;
  • GfstWake:该文件夹存放的内容为平台生成的唤醒词模型文件;

8.2 SDK内文件替换

文件夹位置:CI110X_SDK_ASR_Offline_V1.x.x\sample\internal\sample_110x\firmware

下图为firmware文件夹的内容

文件夹内容

用户需要将GfstCmd以及GfstWake这两个文件夹里的[x]asr_zn_SExxx_CI1103_normal.dat文件替换firmware内的asr文件夹里的内容。

同时用户将{cmd_info}配置文件放入user_file\cmd_info内并替换原先的内容;

9 .cmd_info配置注意事项

将声学模型里的内容放到dnn文件夹内替换SDK原有的内容,即可使用。

  • 注意这里替换dnn内部文件时需要在文件名称前加上 [0] 开头,否则识别不到声学模型
  • 在自定义的命令词生成的{cmd_info}时,有些语义ID系统没有配置,这语义ID可能会出现大量的0x00, 这时就需要自己设置了,不同的语义设置不同ID即可
  • 播报音ID需要与所生成的播报音名称前的[x]向对应


    语音合成 按照官网的步骤一样即可,
    替换完成之后按照烧录那一节所示,固件打包,升级即可。

离线语音的自定义配置步骤相关推荐

  1. 启明云端分享| ESP32-S3支持自定义离线语音,可支持 200 条本地命令语句,无需外加 DSP 芯片

    提示:作为Espressif(乐鑫科技)大中华区合作伙伴及sigmastar(厦门星宸)VAD合作伙伴,我们不仅用心整理了你在开发过程中可能会遇到的问题以及快速上手的简明教程供开发小伙伴参考.同时也用 ...

  2. 用ESP32怎么实现离线语音

    启明云端ESP32离线语音控制灯和空调 用ESP32玩在线语音之前已经说过了,可以直连天猫精灵和亚马逊AWS了.今天来说说离线语音. 实际上在日常家居应用中,离线语音去控制家里面灯.空调.窗帘以及孩子 ...

  3. 离线语音AIOT可能成为智能家居应用的新趋势

    天猫精灵.亚马逊AWS都是通过在线方式云访问他们的IOT平台,但实际在我们的生活中,很多都是非在线场景,离线可能会更好用. 启明云端近期就推出了基于离线语音的AIOT模块,支持单.双麦克风方案,单麦本 ...

  4. 【离线语音专题②】安信可语音开放平台的使用——VC系列SDK的获取

    系列文章目录 [离线语音专题①]安信可最新离线语音模组VC系列出厂固件使用教程--SDK开源? 文章目录 系列文章目录 前言 一.账号注册 二.产品创建 1.产品信息选择 2.SDK定制 (1)前端信 ...

  5. uni-app实现PDA的离线语音(一)设置TTS

    一.开发背景 最近在开发PDA的语音的需求的时候,因为PDA项目为了实现多端的兼容,我使用的uni-app开发的,开始使用的百度免费的在线语音功能,结果要部署到专网环境,咨询了常用的讯飞语音和百度语音 ...

  6. 【离线语音专题④】安信可VC离线语音开发板二次开发语音控制LED灯

    系列文章目录 [离线语音专题①]安信可最新离线语音模组VC系列出厂固件使用教程--SDK开源? [离线语音专题②]安信可语音开放平台的使用--VC系列SDK的获取 [离线语音专题③]安信可VC系列离线 ...

  7. CI130X智能语音芯片应用于智能面板,支持红外设备离线语音控制、场景控制等功能

    随着人们生活水平的提高,用户对产品的追求呈现多元化趋势,不仅仅只关注面板开关去控制的灯具亮灭,更注重产品的使用体验感.面板控制也演变了多种方式,从机械开关,轻触按键,手持遥控器到手机端APP,智能语音 ...

  8. Fortinet网络接入及安全方案配置步骤

    http://sec.chinabyte.com/200/12553700.shtml 1.概述: Fortinet无线接入及方案由以下两类设备组成: AC(Wifi接入控制器)及安全网关:Forti ...

  9. 基于Spring可扩展Schema提供自定义配置支持(spring配置文件中 配置标签支持)

    2019独角兽企业重金招聘Python工程师标准>>> spring使用了这么长时间, 你真的了解spring bean加载的机制吗? 这个是我们项目中最常见的配置文件中的内容配置, ...

最新文章

  1. MongoDB 复制机制
  2. 【十大经典排序算法】java实现--选择排序(2)
  3. buildroot自带程序(库)编译并安装
  4. 81相似标准形02——初等变换、初等矩阵、相抵 (等价)、相抵标准形
  5. 蓝桥杯- 煤球数目-java
  6. 【VB.Net】泛型IIF
  7. 用CSS hack技术解决浏览器兼容性问题
  8. web.xml配置以及一些详解
  9. 结构建模设计——Solidworks 2021SP5稳定版软件安装详细教程(安装踩坑记录全流程总结)
  10. SharePoint 2013 图文开发系列之InfoPath入门
  11. 微信小程序全套使用指南
  12. 跑跑卡丁车道具攻与防
  13. “窗体”工具栏控件和“控件工具箱”控件基础
  14. NASA HEG tool安装心得
  15. 用go来做图像相似性比较
  16. matlab MinGW-w64 C/C++ Compiler 的配置(附百度云下载资源)
  17. 异构数据源DDL转换的两种方式
  18. 网页素材大宝库:15套精美的用户头像图标素材
  19. netmq VS redis 订阅发布性能研究
  20. 2022新版nft源码中国元宇宙数字藏品艺术品交易平台源码

热门文章

  1. 【5G核心网】 PDU Session Modification PDU会话修改
  2. 网页下载工具curl命令简介
  3. R语言数学函数及统计函数及概率函数
  4. Android视角,精妙绝伦的回调方法
  5. 瑞萨e2studio(8)----PWM
  6. Task 02 re(2.3)
  7. 视频教程-20150604.C语言-C/C++
  8. 行车记录仪冲刺前装450万台,小鹏G9紧急开发功能
  9. 计算机专业英语词组,计算机专业英语词组计算机专业英语词组.doc
  10. Mysql列转行-union all方法