CCKS2019—面向金融的事件主题识别思路分享

2024-06-10 21:50:15

CCKS2019-面向金融的事件主题识别思路分享

1.题目概述
2.方法探索
3.用bert模型进行迁移学习
4.答案规则的尝试
5.模型的训练和调优
6.赛后总结
- 6.1不足和遗憾
- 6.2展望

1.题目概述

本次赛题的本质是nlp的阅读理解，由于本次比赛可以使用预训练模型和外部语料库，因此如何选择预训练模型以及如何对模型输出的概率进行答案提取就成为了比赛的关键，本文针对预训练模型的选择和使用以及提取规则的使用进行说明。

本次题目每个训练集样本由四部分组成“样本id”，“文本句子”，“事件类型”以及“事件主体”作为标签，事件主题就是从文本句子中筛选出来的。比赛的评分指标是F1，就是一个样本你可以预测多个事件主体，和真实的事件主体比较，考虑召回率和准确率的协调。这个F1应该是以词作为对应指标的，而不是字；

2.方法探索

在不借助任何语料库和预训练模型，自己搭一个带多头注意力机制的w2v，然后靠这1.4w的数据集去训练，结果很一般，因为数据太少了，a榜只有83.4左右；然后思考自己找语料库（搜狗新闻）去训练词向量，由于机器和时间因素本人没有尝试；最后就是使用预训练模型进行迁移学习，这里选取的是谷歌提供的bert模型进行微调，用的是其官方训练的中文词向量；然后根据规则过滤一些答案，大致成绩是a榜单模89.8，b榜78.3；经过和其他模型的融合，最佳成绩为榜92.6和b榜82.8左右，最终rank17.

3.用bert模型进行迁移学习

本赛题属于nlp任务中的阅读理解，bert在其相关的领域表现出色，这里就使用迁移学习的思想对bert预训练进行微调，为了代码简介，这里使用keras来表现：

bert_model = load_trained_model_from_checkpoint(config_path, checkpoint_path, seq_len=None)
j = 0
for l in bert_model.layers:l.trainable = Truex1_in = Input(shape=(None,)) # 待识别句子输入
x2_in = Input(shape=(None,)) # 待识别句子输入
s1_in = Input(shape=(None,)) # 实体左边界（标签）
s2_in = Input(shape=(None,)) # 实体右边界（标签）x1, x2, s1, s2 = x1_in, x2_in, s1_in

CCKS2019—面向金融的事件主题识别思路分享相关推荐

深度学习示功图智能识别思路分享
基于深度学习抽油机井示功图智能识别[示功图数据库] 需要数据集可联系Q3247964837 示功图数据库示功图数据摘要有杆柱塞泵抽油机井在我国的石油生产中发挥着关键作用.当有杆抽油系统因地层及抽 ...
中国银联研究院周雍恺：面向金融的软件定义网络安全探索
2016年6月2日,"2016全球SDNFV技术大会"进入了第二天.作为连续举办三届的SDN/NFV技术与产业盛会,本届大会着眼于SDN /NFV的实践应用与部署,从SDN/NFV ...
某银行信用卡中心——大数据反欺诈应用案例 2017-06-23 10:54 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢百融金服的投递作为整体
某银行信用卡中心--大数据反欺诈应用案例 2017-06-23 10:54 本篇案例为数据猿推出的大型"金融大数据主题策划"活动(查看详情)第一部分的系列案例/征文:感谢百融金服 ...
【2021 第五届“达观杯” 基于大规模预训练模型的风险事件标签识别】1 初赛Rank12的总结与分析
目录相关链接 1 赛题分析 2 引言 3 方案 3.1 传统DL方案 3.2 预训练方案 4 提分技巧 5 加快训练 6 总结和反思 7 参考资料相关链接 [2021 第五届"达观杯&q ...
2021 第五届“达观杯” 基于大规模预训练模型的风险事件标签识别】3 Bert和Nezha方案
目录相关链接 1 引言 2 NEZHA方案 2.1 预训练 2.2 微调 3 Bert 方案 3.1 预训练 3.2 微调 3 模型融合和TTA测试集数据增强 4 总结和反思 5 参考资料相关链接 ...
事件AI识别、一路三方协同——杭绍台智慧高速如何应对异常事件？
杭绍台高速按分期建设.分期投运的原则,分为先行段.城区段.先行段按照智慧高速总体布局安排,已经先行先通,并具备了智慧高速的基本雏形,完成基础架构搭建,"异常事件主动感知闭环处置"场 ...
将安全信息应用到以下对象时发生错误拒绝访问_手机资讯:拒绝「京东金融」事件再次发生|如何避免iPhone 应用私自获取照片...
如今使用IT数码设备的小伙伴们是越来越多了,那么IT数码设备当中是有很多知识的,这些知识很多小伙伴一般都是不知道的,就好比最近就有很多小伙伴们想要知道拒绝「京东金融」事件再次发生|如何避免iPhone ...
Google Maps API 进级： GoogleMaps常用事件及应用思路1
转自:http://hi.baidu.com/xfm_zhr/blog/item/8c1790517e87ea888d54302a.html 1. GoogleMaps常用事件及应用思路 ...
【Pytorch神经网络理论篇】 35 GaitSet模型：步态识别思路+水平金字塔池化+三元损失
代码: [Pytorch神经网络实战案例]28 GitSet模型进行步态与身份识别(CASIA-B数据集)_LiBiGor的博客-CSDN博客1 CASIA-B数据集本例使用的是预处理后的CASIA- ...
介绍几个专门面向中文的命名实体识别和关系抽取工具
知识图谱已经在人工智能的各个领域发挥越来越重要的作用,例如视觉问答.对话系统.推荐系统等.知识图谱构建是应用这些知识图谱的基础,而面对生活和企业中数据的爆发式增长,自动化知识图谱构建显得越来越重要.从 ...

最新文章

热门文章