自然语言理解中的意图识别

概念

通过分类的方式将句子（query）划分到相应的意图种类当中，判断其属于哪个领域的问题。

意图识别的方法

基于词典以及模版的规则方法
不同的意图会有不同的领域词典，比如书名、歌曲名、商品名等。根据用户的意图和词典的匹配程度或者重合程度来进行判断。
基于机器学习模型对用户意图进行判别
通过机器学习和深度学习的方法，对已经标注好的领域语料进行训练学习，得到意图识别的模型。在经过测试集得到语料对应的分类。

fastText

快速文本分类模型
1.快速训练和预测，适合用于工业界
2.重要的优化：层序遍历和N-gram特征

输入的是：句子的n-gram的词向量
中间层：词向量和的平均值（特征）
输出：每个类别的概率,最大的概率就是该句子的类别

【注】
N-gram特征分为字粒度的n-gram和词粒度的n-gram

我喜欢白色的纯种萨摩耶

字粒度（2-gram）
我喜喜欢欢白白色色的的纯纯种种萨萨摩摩耶
词粒度（2-gram）
我/喜欢喜欢/白色白色/的的/纯种纯种/萨摩耶

架构

源码分析

fastText 源码分析这篇讲解的很详细
代码

自然语言理解中的意图识别相关推荐

自然语言识别python_一个快速从自然语言文本中提取和识别关键短语的工具
chinese_keyphrase_extractor (CKPE) 一个从中文自然语言文本中抽取关键短语的工具,只消耗 35M 内存 A tool for automatic keyphra ...
智能对话中的意图识别和槽位填充联合模型
资源下载地址:https://download.csdn.net/download/sheziqiong/85663032 Data 数据来自于国外航空订票数据 atis(目录 atis 下). 数据 ...
对话系统中自然语言理解NLU——意图识别与槽位填充
目录 1. 什么是意图识别和槽位填充 1.1 语义槽的设计 2. 意图识别的方法 2.1 规则模板 2.2 统计机器学习 2.3 深度学习 3. 意图识别的难点 4. 槽位填充的方法 5. 参考问答 ...
论文浅尝 - WWW2020 | 从自然语言交互中提取开放意图
论文笔记整理:娄东方,浙江大学博士后,研究方向为事件抽取. Vedula N, Lipka N, Maneriker P, et al. Open Intent Extraction from Nat ...
【打卡-Coggle竞赛学习2023年3月】对话意图识别
学习链接: https://coggle.club/blog/30days-of-ml-202303 ## Part1 内容介绍本月竞赛学习将以对话意图识别展开,意图识别是指分析用户的核心需求,错误 ...
自然语言一般使用计算机,自然语言理解
自然语言处理(N LP , Natural Language Processing)是使用自然语言同计算机进行通讯的技术, 因为处理自然语言的关键是要让计算机"理解"自然语言,所以 ...
“此苹果非彼苹果”看意图识别的那些事儿
项目简介 "手把手带你学NLP"是基于飞桨PaddleNLP的系列实战项目.本系列由百度多位资深工程师精心打造,提供了从词向量.预训练语言模型,到信息抽取.情感分析.文本问答.结构 ...
属性与意图识别_一种基于多任务学习的意图与槽位联合识别方法与流程
本发明属于人机交互领域,涉及自然语言处理.垂直对话系统等,特别涉及一种基于多任务学习的意图与槽位联合识别方法. 背景技术: 意图识别和槽位识别可以将垂直对话系统中用户输入文本转化为语义表示,为系统采取 ...
音乐领域的自然语言理解
人机交互方式越来越多的变成语音交互,用户说出口语化的自然语言,系统需要正确理解并实现对应的操作.语音识别是另外一个问题,本文讨论语音识别后的文本处理.而音乐在人们生活中是刚需,amazon的echo. ...

自然语言理解中的意图识别

概念

意图识别的方法

fastText

架构

源码分析

自然语言理解中的意图识别相关推荐

最新文章

热门文章