few-shot NER 数据集 和普通NER数据集的区别与联系
相信许多同学在阅读Few-shot NER相关文献时都有点迷糊，support set是什么，怎么参与模型训练的，又是怎么采样的呢。下面主要介绍一下这些问题：
1.1few-shot NER
few-shot NER任务主要处理NER任务中的两种场景，第一种是数据集中某些类别的标记样本远少于出现频率高的类别的标记样本，比如在某个数据集中，被标记为类别A的token有10000个，被标记为B的token只有2个。在这种情况下通常训练出来的模型对dev集中标签为B的token预测出来的准确率会比较低；第二种是处理dev集中出现了train中没有的类别标签。
few-shot=K通常设置K为1-shot或5-shot来进行实验，具体的含义就是每个类别含有1个/5个实例。放在NER任务中，例如，人名这个实体总共有5个实例。需要遵循few-shot=k设置的是support集，train集和test集中每个类别的实例都可远多于K类。
为什么train集可以不用遵循few-shot=k的设置呢，因为在few-shot learning中train集一般是用来参与encoder训练token embedding的。训练few-shot模型的思想，拿原型模型举例，是将token表示为向量空间中的向量，为需要预测类别的token x寻找与它距离最近的（由support集的token计算获得的，比如最简单的就是将所有support集中类别为A的向量加起来取平均得到的）原型，将原型所属的类别赋给token x。train集是用来将token表示为向量的，不参与原型的构建。
2.2数据集划分
普通的大规模公开数据集通常划分为train set、dev set、test set。
few-shot 数据集通常划分为train set、support set 、test set
在train阶段利用到的数据集为：train set
在infer阶段利用到的数据集为：support set、test set
（test set 样本的真实标签一定要在support set 里找得到）
举个例子，如果train集里面完全没有出现样本X的标签Z，但是我希望能出预测样本X的标签。那我可以在support中放一个样本Y，这个样本的标签是Z，然后样本X和Y很像，模型就能够把样本X预测为Z。
few-shot NER 数据集 和普通NER数据集的区别与联系相关推荐
- Python数据集可视化：抽取数据集的两个特征进行二维可视化、主成分分析PCA对数据集降维进行三维可视化（更好地理解维度之间的相互作用）
Python数据集可视化:抽取数据集的两个特征进行二维可视化.主成分分析PCA对数据集降维进行三维可视化(更好地理解维度之间的相互作用) 目录 Python数据集可视化:抽取数据集的两个特征进行二维可 ...
- 无人驾驶常用数据集---图像语义分割数据集--Cityscapes数据集的解读（for 小白）
** 无人驾驶常用数据集–图像语义分割数据集–Cityscapes数据集的解读(for 小白) ** 一.什么是Cityscapes数据集? Cityscapes是关于城市街道场景的语义理解图片数据集 ...
- Dataset：机器学习和深度学习中对数据集进行高级绘图(数据集可视化，箱线图等)的简介、应用之详细攻略——daidingdaiding
Dataset:机器学习和深度学习中对数据集进行高级绘图(数据集可视化,箱线图等)的简介.应用之详细攻略--daidingdaiding 目录 箱线图 箱线图 箱线图(box plots):这些图显示 ...
- Dataset：数据集集合(NLP方向数据集)——常见的自然语言处理数据集大集合(建议收藏，持续更新)
Dataset:数据集集合(NLP方向数据集)--常见的自然语言处理数据集大集合(建议收藏,持续更新) 目录 NLP数据集特点 常见的NLP数据集 1.生物数据集以及自然语言处理数据集 常见的使用案例 ...
- Dataset之谷歌地图数据集：谷歌地图数据集的简介、安装、使用方法之详细攻略
Dataset之谷歌地图数据集:谷歌地图数据集的简介.安装.使用方法之详细攻略 目录 谷歌地图数据集的简介 谷歌地图数据集的安装 谷歌地图数据集的使用方法 谷歌地图数据集的简介 谷歌地图中的1000多 ...
- Dataset：数据集集合(CV方向数据集)-常见的计算机视觉图像数据集大集合包括表面缺陷检测数据集(持续更新)
Dataset:数据集集合(CV方向数据集)-常见的计算机视觉图像数据集大集合包括表面缺陷检测数据集(建议收藏,持续更新) 目录 CV常用数据集平台集合 Mendeley Data CAISA-Web ...
- DL之NN/Average_Darkness/SVM：手写数字图片识别(本地数据集50000训练集+数据集加4倍)比较3种算法Average_Darkness、SVM、NN各自的准确率
DL之NN/Average_Darkness/SVM:手写数字图片识别(本地数据集50000训练集+数据集加4倍)比较3种算法Average_Darkness.SVM.NN各自的准确率 目录 数据集下 ...
- iris数据集 测试集_IRIS数据集的探索性数据分析
iris数据集 测试集 Let's explore one of the simplest datasets, The IRIS Dataset which basically is a data a ...
- 资源 | 想进行数据科学项目却没有数据集？26个数据集网站汇总
导读:如果用一个句子总结学习数据科学的本质,那就是: 学习数据科学的最佳方法就是应用数据科学. 如果你是初学者,那么每完成一个项目你的能力就会大大提高.如果你是有经验的数据科学从业者,那么你应该懂这个 ...
最新文章
- 如何删除chrome地址栏里面曾经输错的地址
- Python 字典dict操作定义
- 【Redis】4.Redis数据存储listsetsorted_set
- 把人工智能、机器学习、深度学习串一串，串一个同心圆
- WM6.0系统WIFI与笔记本点对点互联详细解析
- 惠普Teradici PCoIP 受OpenSSL 漏洞影响，波及1500万个端点
- javascript手机号码、电子邮件正则表达式 一种解决方案
- 深圳市云瑶信息科技有限公司
- html5 在线留言,html5实现手机弹窗留言对话框
- HDU 5442 (串的最大表示+KMP）
- 【100 种语言速成】第 2 节：Emojicode
- stata怎么画分类图_stata如何画分布图
- [20160213]关于ansi语法.txt
- CTF隐写(stegsolve)
- 等差数列java_java简单的编程（等差数列）
- java：简单的点单系统
- 全新 ADAS 和自动驾驶车辆系统的处理器性能和安全要求
- Xiaojie雷达之路---Mailbox深挖
- java jax-rs拦截器_java – Servlet过滤器与CXF拦截器,用于修改请求和响应内容？
- 瘦子的肠道菌群和胖子的区别_明明吃同样的饭，为什么只有你胖了？