文本意图识别方案整理

2024-06-25 13:37:18

意图识别本质上是文本分类问题，从目前的对话数据来看，用户说的话一般是短文本，长度大多在几十个字内，其中关键词和短语对分类显著的作用。

目前主流的本文分类模型可以分为CNN、RNN和Bert（self-attention）三类，三者可以结合起来，同时由于短本文中关键词对分类结果作用明显，添加attention机制也是常用的trick。

1、基于CNN的意图识别

CNN的作用是用来提取文本的特征（可以看作是n-gram特征），根据特征进行分类，由于CNN提取的n-gram特征能突出关键词的作用，相比于RNN效果可能更佳。

论文：Convolutional Neural Networks for Sentence Classification

代码：https://github.com/NLPxiaoxu/Easy_TextCnn_Rnn/tree/master/TextCnn

2、基于RNN的意图识别

RNN网络在文本分类中，作用是用来提取句子的关键语义信息，根据提取的语义对文本进行区分。

普通的LSTM模型用于文本分类：

论文：Recurrent Neural Network for Text Classification with Multi-Task Learning

代码：https://github.com/NLPxiaoxu/Easy_TextCnn_Rnn/tree/master/TextRnn

带attention机制的文本分类模型：

论文：Hierarchical Attention Networks for Document Classification

代码：https://github.com/richliao/textClassifier

3、CNN和RNN结合

论文：Recurrent Convolutional Neural Networks for Text Classification

代码：GitHub - roomylee/rcnn-text-classification: Tensorflow Implementation of "Recurrent Convolutional Neural Network for Text Classification" (AAAI 2015)

4、基于Bert的意图识别

bert模型由于其体量大，参数多，对时效性要求比较高的系统友好性不够，如果采用bert模型，需要做一些知识蒸馏或者采用ALbert等。

论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

代码：https://github.com/google-research/bert

5、业界方案整理

腾讯游戏智能客服意图识别

贝壳找房基于ALbert的意图识别

阿里小蜜意图识别

小米对话系统意图识别

文本意图识别方案整理相关推荐

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等
NLP专栏简介:数据增强.智能标注.意图识别算法|多分类算法.文本信息抽取.多模态信息抽取.可解释性分析.性能调优.模型压缩算法等专栏链接:NLP领域知识+项目+码源+方案设计订阅本专栏你能获得什 ...
Kaggle文本可读性识别大赛银牌方案复盘
1 前言历史三个月,文本可读性识别大赛终于落下帷幕,我们队伍的ID为wordpeace,队员分别为:致Great,firfile,heshien,heng zheng,XiaobaiLan,私榜取得 ...
京东智能客服言犀意图体系搭建和意图识别技术介绍
01 背景介绍近年来随着人工智能技术的不断发展,以及各行业内部系统对智能化需求的日益增大,智能客服机器人服务水平大幅提升,越来越多的企业开始建立自己的智能客服产品,尤其是一些中大型企业.搭建一款智能 ...
计算广告（4）----query意图识别
目录: 一.简介: 1.用户意图识别概念 2.用户意图识别难点 3.用户意图识别分类 4.意图识别方法: (1)基于规则 (2)基于穷举 (3)基于分类模型二.意图识别具体做法: 1.数据集 2.数 ...
中篇 | 多轮对话机器之话题意图识别
引言回顾一下自己参与的智能客服系统项目,从技术调研到游戏领域的对话文本数据分析和任务细分定义,再到建模调优以及最后的运营优化等整体流程的学习,收获良多.一般的智能客服系统包括三大模块,具体系统结构图 ...
java意图_任务型对话（一）—— NLU/SLU（意图识别和槽值填充）
1,概述任务型对话系统越来越多的被应用到实际的场景中,例如siri,阿里小密这类的产品.通常任务型对话系统都是基于pipline的方式实现的,具体的流程图如下: 整个pipline由五个模块组成:语 ...
属性与意图识别_一种基于多任务学习的意图与槽位联合识别方法与流程
本发明属于人机交互领域,涉及自然语言处理.垂直对话系统等,特别涉及一种基于多任务学习的意图与槽位联合识别方法. 背景技术: 意图识别和槽位识别可以将垂直对话系统中用户输入文本转化为语义表示,为系统采取 ...
再谈意图识别与语义槽填充
对话系统可以分为任务导向型和非任务导向型,其中任务导向型又可以分为pipeline和end to end两类方法,其中pipeline很多情况下都包括三大模块:自然语言理解.对话管理和自然语言生成,之 ...
HarmonyOS之AI能力·IM类意图识别
一.基本概念 IM 类意图识别,是指利用机器学习技术,针对用户短信或聊天类 APP 等 IM 应用的文本消息进行内容分析,并识别出消息内容代表的用户意图. 基于语义分析,利用机器学习的相关技术识别并理 ...

最新文章

热门文章