RoBERTa 使用

官方文档：https://github.com/brightmart/roberta_zh

步骤

复制项目： git clone https://github.com/brightmart/roberta_zh
下载中文预训练模型：https://drive.google.com/open?id=1ykENKV7dIFAqRRQbZIh0mSb7Vjc2MeFA，解压到项目外层
和 run_classifier.py 同一层建立 model（存放微调后得到的新模型）、data（存放训练、测试文件）文件夹
修改 run_classifier.py 中的文件处理 Class，修改Flag（如data_dir等）
nohup python -u run_classifier.py > run_classifier.log 2>&1

遇到的坑

L12 pytorch版本的，在后面运行会报错，因为是 model.bin 而不是 ckpt

如果用工程的 run_classifier.py 运行，应该要改成这样

export BERT_BASE_DIR=./model/roberta_zh_l12
export MY_DATA_DIR=./data/lcqmc
python run_classifier.py \--task_name=lcqmc_pair \--do_train=true \--do_eval=true \--data_dir=$MY_DATA_DIR \--vocab_file=$BERT_BASE_DIR/vocab.txt \--bert_config_file=$BERT_BASE_DIR/bert_config.json \--init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \--max_seq_length=128 \--train_batch_size=64 \--learning_rate=2e-5 \--num_train_epochs=3 \--output_dir=./checkpoint_lcqmc

numpy 版本问题参考：https://blog.csdn.net/qq_15694045/article/details/100577784

RoBERTa 使用相关推荐

Simple Transformer：用BERT、RoBERTa、XLNet、XLM和DistilBERT进行多类文本分类
作者 | Thilina Rajapakse 译者 | Raku 编辑 | 夕颜出品 | AI科技大本营(ID: rgznai100) [导读]本文将介绍一个简单易操作的Transformers库- ...
智源青年科学家杨植麟：为什么预处理模型XLNet比BERT、RoBERTa更加优越
在2020年2月11日下午的"智源论坛Live | 青年科学家线上报告会"中,智源青年科学家.Recurrent AI联合创始人杨植麟做了题为<Latest Advances ...
细粒度情感分析：还在用各种花式GNN？或许只用RoBERTa就够了
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自 | 知乎作者 | 邱锡鹏地址 | https://zhuanlan.zhih ...
非常详细的transformer笔记，包括XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa
华校专老师更新了个人笔记,增加了 Transformer笔记,包含XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa 等内容,内容十分详细,非常值得学习,特此推荐. 作者华校专 ...
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa for Chinese, TensorFlow & PyTorch 项目主页:https://github.com/brightmart/roberta_zh 中文预训练RoB ...
for循环数据量太大_中文文本分类roberta大力出奇迹之数据量大的问题
问题描述: 笔者在文本分类场景中使用了roberta+pool+dense的三分类模型.采用预训练模型做项目的时候经常苦于数据太少,模型泛化性差,因此收集了1300W数据.在我尝试暴力出奇迹的时候,遇 ...
Longformer：超越RoBERTa，为长文档而生的预训练模型
星标/置顶小屋,带你解锁最萌最前沿的NLP.搜索与推荐技术文 | ChrisCao, 小轶前言今天要与大家分享的是AllenAI今年发表的最新工作,Longformer--一种可高效处理长文本 ...
文本分类器,可自由加载BERT、Bert-wwm、Roberta、ALBert以及ERNIE1.0
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 基于谷歌开源的BERT编写的文本分类器(基于微调方式),可自由加载NLP领域知名的预训练语言模 ...
系统学习NLP（三十二）--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏
参考:https://zhuanlan.zhihu.com/p/84559048 一.BERT BERT是一种基于Transformer Encoder来构建的一种模型,它整个的架构其实是基于DAE( ...
在SQuAD2.0榜单上出现过的部分模型详解StructBert，T5，RoBERTa，RetroReader，ALBert
文章目录 StructBert Word Structural Objective Sentence Structural Objective T5 Text-to-Text C4数据集--Colos ...

RoBERTa 使用

步骤

遇到的坑

RoBERTa 使用相关推荐

最新文章

热门文章