【层级多标签文本分类】融合标签层级结构的文本分类
融合标签层级结构的文本分类
1、背景
1、作者（第一作者和通讯作者）
刘翰错，黄贤英
2、单位
重庆理工大学
3、年份
2021
4、来源
山西大学学报（自然科学版）
2、四个问题
1、要解决什么问题？
解决标签之间的语义、标签之间的相关性，文本特征对标签特征的影响。
2、用了什么方法解决？
提出了融合标签结构的层级标签文本分类模型（Label Hierarchical and Semantic Structure Learning, LHSSL）
3、效果如何？
4、还存在什么问题？
论文笔记
0、引言
在本小节中，作者总结了目前现有的层级文本分类主要有两种：
关注局部：关注局部 ，倾向于构造多个层次分类模型，然后以自顶向下的方式遍历层次结构。每个分类器预测对应的类别或类别层次。
关注全局：关注全局，将所有类别集合在一起，用单个分类器进行预测。
作者指出这些方法忽略了标签的语义结构特征、层级结构特征以及它们与输入文本特征之间的关系。还指出当标签数量较大、标签相似度较高时，人工分类很困难。接着作者针对以上问题提出了层级标签文本分类模型（LHSSL）：
（1）通过传统编码器提取输入文本特征，连接激活函数得到预测概率分布
（2）引入使用外部语料预训练好的语言模型得到标签嵌入向量，计算标签 嵌入向量间的相似度得到标签的语义相关结构图
（3）根据数据集给出的多层级类别标签，构建标签的层级结构矩阵（同时由于标签数量较少，使用单层图卷积就可以提取整个图结构的特征。因此使用共享参数的单层图卷积学习语义结构图与层级结构图的共享特征得到了两种标签嵌人）
（4）利用自注意力机制学习标签之间的关系得到新的标签嵌入向量
（5）计算文本嵌人与标签嵌人的相似度，并且动态融合输人文本的特征
（6）经过激活后构造标签模拟分布，将两个分布加和平均并激活后得到最终的分类结果。
1、相关工作
1.1、图卷积神经网络
相较于卷积神经网络和循环神经网络，图卷积神经网络更适用于处理非欧几里得结构性的图数据。图卷积的目的是通过聚合节点自身以及邻居节点的信息提取拓扑图的空间特征。
1.2、标签嵌入
标签嵌入学习是通过学习标签的向量表示来增强模型的分类效果。本文也构建了模型学习标签之间的关系从而生成含有丰富信息的嵌入向量。
1.3、标签平滑
标签平滑用于解决由使用one-hot向量表示标签带来的模型过拟合的问题，以及全概率和零概率导致样本所属类别和其他类别预测概率相差尽可能大致使模型过于自信的问题。
1.4、标签增强
标签分布反映了数据集中每个标签与样本匹配的程度。大多数数据集的标签都是单一标签的集合，要获取数据真实的标签分布，需要对每条样本进行大量的标注，当标签数目较多时，会花费大量的时间与精力，标注的准确性也得不到保障。
2、模型设计
LHSSL 模型主要分为三个部分：预测概率分布计算、标签模拟分布构造以及损失计算。
2.1、预测概率分布计算
使用CNN、RNN、LSTM、BERT等用于提取文本特征。连接softmax激活函数进行非线性转换得到预测的标签的概率分布。
2.2、标签模拟分布构造
2.2.1、标签信息提取模块
标签信息提取模块分为两个子模块：
标签语义结构特征提取：标签语义结构特征提取模块首先初始化标签嵌入向量，将包含层级结构的标签集Ｌ中的每个标签按照层级结构拆分为多个单词。通过引入使用外部语料库预训练好的语言模型，如ｗｏｒｄ２ｖｅｃ、ｇｌｏｖｅ等，得到每个单词的嵌入向量。将单词嵌人向量累加后除以单词的个数得到每个层级标签的嵌入表示。
标签层级结构特征提取：标签层级结构特征提取模块通过数据集中标签本身的层级结构构造结构关系图。
2.2.2、标签混淆模块
2.3、损失计算
3、实验设置
3.1、数据集
本文采用四个数据集：20NG、8NG_H、8NG_E和WOS11967。
3.2、实验参数设置
3.3、实验参数设置
从表6-8中数据可以得到结论：无论数据集的标签中是否含有噪声，利用标签的语义关系以及层级结构关系特征，从一定程度上都能提高模型的分类性能。
【层级多标签文本分类】融合标签层级结构的文本分类相关推荐
- 文本数据可视化_非结构化文本数据的分析和可视化
文本数据可视化 Stuck behind the paywall? Read this article with my friend link here. 卡在收费墙后面? 在这里与我的朋友链接阅读本 ...
- 文本分类模型_多标签文本分类、情感倾向分析、文本实体抽取模型如何定制？...
文心(ERNIE)是依托百度深度学习平台飞桨打造的语义理解技术与平台,集先进的预训练模型.全面的NLP算法集.端到端开发套件和平台化服务于一体,为企业和开发者提供一整套NLP定制与应用能力.在2020 ...
- 基于ERNIR3.0文本分类：(KUAKE-QIC)意图识别多分类(单标签)
PaddleNLP基于ERNIR3.0文本分类以中医疗搜索检索词意图分类(KUAKE-QIC)为例[多分类(单标签)] 0.前言:文本分类任务介绍 文本分类任务是自然语言处理中最常见的任务,文本分类任 ...
- PaddleNLP基于ERNIR3.0文本分类以中医疗搜索检索词意图分类(KUAKE-QIC)为例【多分类(单标签)】
相关项目链接: Paddlenlp之UIE模型实战实体抽取任务[打车数据.快递单] Paddlenlp之UIE分类模型[以情感倾向分析新闻分类为例]含智能标注方案) 应用实践:分类模型大集成者[Pad ...
- 基于D3.js实现分类多标签的Tree型结构可视化
全文共5270个字,4张图,预计阅读时间25分钟. 关键词: 可视化,D3.js,python,前端,代码 why 今天新来的实习生需要对部分分类文本进行多标签的检测,即根据已构建好的一.二级标签Ex ...
- WordPress初学者入门教程-分类和标签
本文源自:https://wpeyes.com/wordpress 我们已经在书的前面提到了类别和标签,但是让我们仔细看看它们,这样你就可以完全理解它们是你的工具箱中的一个多么强大的补充. 类别和标签 ...
- 【文本分类】《融合后验概率校准训练的文本分类算法》
·阅读摘要: 本文主要提出后验概率校准.负例监督两个创新点,提升了实验精度. ·参考文献: [1] 融合后验概率校准训练的文本分类算法 参考论文信息 论文名称:<融合后验概率校准训练 ...
- 【Web】HTML（No.03）HTML标签 （一） 标题标签、段落标签、水平线标签、换行标签、div/span标签、图像标签、链接标签、base标签、特殊字符标签、注释标签、文本格式化标签
HTML标签分类 在HTML页面中,带有"< >"符号的元素被称为HTML标签,如上面提到的 HTML.head.body都是HTML骨架结构标签.所谓标签就是放在&q ...
- html标签 对word2vec,基于Word2Vec的中文短文本分类问题研究
1 引言 移动终端的智能化和互联网技术的高速发展促使人们在移动互联网上交流的越来越频繁, 由此产生了大量的信息数据[, 这些数据多以短文本的形式作为信息传递的载体, 例如微博和即时推送新闻等, 其内容 ...
- Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 文本数据分析 学习目标: 了解文本数据分析的作用. 掌握常用的 ...
最新文章
- 简单是可靠的先决条件
- 使用hql动态创建对象问题
- 区块链 智能合约 简介
- Laravel 任务调度(Console)
- boost::undirected_dfs用法的测试程序
- 某大型银行深化系统技术方案之十五：服务层之服务调用
- Numeral.js 是一个用于格式化和数字四则运算的js 库
- centos删除文件不释放_Linux运维知识之linux centos下彻底删除文件 解决删除文件文件夹硬盘空间不释放不减少...
- 扩展方法/对象与集合初始化器
- 计算机cmd卸载软件,一招让你学会，在win10命令提示符上卸载程序
- 金盾加密视频提取，真实机器码在这里
- 【企业】任正非：管理的灰度
- 基于java的教师教学评价管理系统
- 傅立叶级数与傅里叶变换
- 新手怎么用word制作表格
- postman面试_接口测试面试常见问题
- move_uploaded_file()移动文件失败？
- 如何批量查询谷歌PR权重是多少？谷歌PR权重怎么批量查询
- 各国商圈json数据及mysql文件
- Android diva 分析（全)