BERT的vocabulary字典

在pytorch-pretrained-BERT/pytorch_pretrained_bert/tokenization.py文件中可以看到BERT使用的vocabulary链接，但是不用特殊的上网方式打不开。

PRETRAINED_VOCAB_ARCHIVE_MAP = {'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt",'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt",'bert-base-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt",'bert-large-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased-vocab.txt",'bert-base-multilingual-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased-vocab.txt",'bert-base-multilingual-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt",'bert-base-chinese': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt",
}

打开后是这样的：

然后我通过审查元素，把他们都存了下来（除了两个multilingual）。

百度网盘
链接：https://pan.baidu.com/s/18l53W7UcFA1Amk8MbSnchg
提取码：7gjy

BERT的vocabulary字典相关推荐

我的BERT！改改字典，让BERT安全提速不掉分（已开源）
文 | 苏剑林编 | 小轶背景当前,大部分中文预训练模型都是以字为基本单位的,也就是说中文语句会被拆分为一个个字.中文也有一些多粒度的语言模型,比如创新工场的ZEN和字节跳动的AMBERT,但这 ...
预训练模型参数量越来越大？这里有你需要的BERT推理加速技术指南
©作者 | 徐超单位 | 微软亚洲互联网工程院研究方向 | 文本相关性.多语言扩展基于 Transformer 的预训练模型,尤其是 BERT,给各种 NLP 任务的 performance 带 ...
Deeplearning4j 实战（21）：Bert简介及NLP问题应用
Eclipse Deeplearning4j GitChat课程:https://gitbook.cn/gitchat/column/5bfb6741ae0e5f436e35cd9f Eclipse ...
学习笔记1—Bert
BERT 迁移学习在自然语言处理(NLP)领域同样也是一种强大的技术.由这种技术训练出来的模型,我们称之为预训练模型. 预训练模型首先要针对数据丰富的任务进行预训练,然后再针对下游任务进行微调,以达到 ...
BERT入门教程学习心得 word embedding
来源Youtube上一个BERT Tutorial的视频 https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw Word Embedding ...
自然语言处理(NLP)之使用LSTM进行文本情感分析
情感分析简介文本情感分析(Sentiment Analysis)是自然语言处理(NLP)方法中常见的应用,也是一个有趣的基本任务,尤其是以提炼文本情绪内容为目的的分类.它是对带有情感色彩的主观性文本 ...
cnn 预测过程代码_代码实践 | CNN卷积神经网络之文本分类
学习目录阿力阿哩哩:深度学习 | 学习目录zhuanlan.zhihu.com 前面我们介绍了:阿力阿哩哩:一文掌握CNN卷积神经网络zhuanlan.zhihu.com阿力阿哩哩:代码实践|全连 ...
基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) Encoder编码器-Decoder解码器框架 + Atten ...
RNN模型与NLP应用笔记(2)：文本处理与词嵌入详解及完整代码实现（Word Embedding）
一.写在前面紧接着上一节,现在来讲文本处理的常见方式. 本文大部分内容参考了王树森老师的视频内容,再次感谢王树森老师和李沐老师的讲解视频. 目录一.写在前面二.引入三.文本处理基本步骤详解四 ...

BERT的vocabulary字典

BERT的vocabulary字典相关推荐

最新文章

热门文章