NLP入门竞赛，搜狗新闻文本分类

该数据集来自若干新闻站点2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据。

根据新闻正文内容分析新闻的类别数据集官网链接：

http://www.sogou.com/labs/resource/tce.php.

该数据集样例格式如下所示：

在 FlyAI竞赛平台上提供了超详细的参考代码，我们可以通过参加搜狗新闻文本分类预测练习赛进行进一步学习和优化。

1.1、算法流程及实现

算法流程主要分为以下四个部分进行介绍：

1.数据加载

2.构建网络

3.模型训练

1.数据加载

对每条新闻数据的读取和处理是在processor.py文件中完成。

具体实现如下：

2.构建网络

由于是搜狗新闻文本类数据，这里我们可以使用一维卷积Conv1D + BiGRU来构建网络，网络结构如下所示：

运行summary()方法后输出的网络结构如下图：

3.模型训练

这里我们设置了epoch为5，batch为128，采用adam优化器来训练网络，EarlyStopping可以加速调参过程。然后通过调用FlyAI提供的train_log方法可以在训练过程中实时的看到训练集和验证集的准确率及损失变化曲线。

1.2.最终结果

通过使用自定义CNN网络结构+双向GRU网络的方法，在epoch为10，batch为128的条件下使用adam优化器下不断优化模型参数，使用early_stopping规则在model训练达到early_stopping条件时提前终止训练提高model优化效率，最终模型在测试集的准确率达到91+。

NLP入门竞赛，搜狗新闻文本分类相关推荐

NLP入门竞赛，搜狗新闻文本分类！拿几十万奖金！
该数据集来自若干新闻站点2012年6月-7月期间国内,国际,体育,社会,娱乐等18个频道的新闻数据. 根据新闻正文内容分析新闻的类别数据集官网链接: http://www.sogou.com/labs ...
Task01——零基础入门NLP - 新闻文本分类之赛题理解
本篇目标首先本篇文章会对赛题进行介绍以及个人对赛题的理解,带大家接触NLP的预处理.模型构建和模型训练等知识点. 赛题介绍赛题名称:零基础入门NLP - 新闻文本分类赛题任务:赛题以自然语言处理 ...
零基础入门NLP - 新闻文本分类
本文是对阿里云新人竞赛中的"零基础入门NLP - 新闻文本分类"解体过程进行的记录,目前仅使用了textCNN模型进行预测,后续还会考虑使用LSTM进行对比. 赛题数据赛题以新闻 ...
零基础入门NLP - 新闻文本分类，正式赛第一名方案分享
零基础入门NLP - 新闻文本分类,正式赛第一名方案分享:https://mp.weixin.qq.com/s/7WpZUqdlItBToLYuRLm44g
零基础入门NLP - 天池新闻文本分类Task3笔记
零基础入门NLP - 天池新闻文本分类以下以Datawhale与天池举办的新闻文本分类这个NLP赛题做的NLP入门Task2笔记赛题链接:https://tianchi.aliyun.com/co ...
【初学者入门】零基础入门NLP - 新闻文本分类
序言从今天开始入门学习NLP,虽然有点晚,但是我觉得任何时候都值得开始,尤其是面对你去感兴趣的事情.今天的任务是 [零基础入门NLP - 新闻文本分类],这是天池大赛中的入门级算法比赛,入口链接请自 ...
天池零基础入门NLP - 新闻文本分类Top1方案的bert4torch复现
天池有些长期比赛可以练习玩玩(还可以继续提交),于是试了下简单的新闻文本分类任务,Top1的解决方案思路是"预训练+fgm+交叉验证模型融合",代码是基于bert4keras的,本 ...
天池比赛——新闻文本分类比赛（零基础入门NLP）
1 赛题理解 1.1 比赛内容对新闻文本的类别进行预测.比赛提供了包含14个新闻类别的文本数据,分为训练集和测试集A,B.训练集包含20万条新闻文本数据,测试集A,B分别包含5万条新闻文本数据.所有 ...
【项目实战课】NLP入门第1课，人人免费可学，基于TextCNN的新闻文本分类实战...
欢迎大家来到我们的项目实战课,本期内容是<基于TextCNN的新闻文本分类实战>. 所谓项目课,就是以简单的原理回顾+详细的项目实战的模式,针对具体的某一个主题,进行代码级的实战讲解,可以 ...

NLP入门竞赛，搜狗新闻文本分类

NLP入门竞赛，搜狗新闻文本分类相关推荐

最新文章

热门文章