‘BertTokenizer‘ has no len() additional_special_tokens add

增加special token的时候一直报错
additional_special_tokens也不行，add_tokens也不行，len和vocab_size也不行
后来发现是旧版本pytorch_pretrained_bert的问题：
原来：

from pytorch_pretrained_bert import BertAdam
tokenizer = BertTokenizer(vocab_file=args.tokenizer_path)

改为：

from transformersimport BertAdam
tokenizer = BertTokenizer.from_pretrained(pretrain_path, additional_special_tokens=['##char##'])

‘BertTokenizer‘ has no len() additional_special_tokens add_tokens相关推荐

MySql__为用户赋于主从同步的权限
MySql__为用户赋于主从同步的权限在配置Otter的时候报错: CanalParseException: command : 'show master status' has an error! ...
Go 学习笔记（11）— 切片定义、切片初始化、数组和切片差异、字符串和切片转换、len()、cap()、空 nil 切片、append()、copy() 函数、删除切片元素
1. 切片定义 Go 语言切片是对数组的抽象. Go 中提供了一种灵活,功能强悍的内置类型切片("动态数组"),与数组相比切片的长度是不固定的,可以追加元素,在追加时可能使切片的容 ...
Uva 3767 Dynamic len(set(a[L:R])) 树套树
Dynamic len(set(a[L:R])) Time Limit: 20 Sec Memory Limit: 256 MB 题目连接 https://uva.onlinejudge.org/in ...
【GoLang】深入理解slice len cap什么算法？参数传递有啥蹊跷？
先上结论 1.内置append函数在现有数组的长度 < 1024 时 cap 增长是翻倍的,再往上的增长率则是 1.25,至于为何后面会说. 2.Go语言中channel,slice,map这三 ...
python公共操作（运算符（+、*、in、not in）、公共方法（len()、del、max()、min()、range()、enumerate()）、类型转换（tuple、list、set））
1. 运算符 1.1 + # 1. 字符串 str1 = 'aa' str2 = 'bb' str3 = str1 + str2 print(str3) # aabb # 2. 列表 list1 = ...
python元组用法详解（定义、下表查找、index()、count()、len()）
⼀个元组可以存储多个数据,元组内的数据是不能修改的. 1. 定义元组元组特点:定义元组使⽤⼩括号,且逗号隔开各个数据,数据可以是不同的数据类型. # 多个数据元组 t1 = (10, 20, 30) ...
java write_java中write(byte[] b)与write(byte[] b,int off,int len)区别
在项目中要上传文件或者图片 private static final int BUFFER_SIZE = 16 * 1024; private static void copy(File src, F ...
python cv2 hsv数组，len()与 size字段的区别
len(v)--------- 600 len(v[0])--------- 1100 v.size--------- 660000 len(v_sum)--------- 1100
len(x) 击败 x.len()，从内置函数看 Python 的设计思想
内置函数是 Python 的一大特色,用极简的语法实现很多常用的操作. 它们预先定义在内置命名空间中,开箱即用,所见即所得.Python 被公认是一种新手友好型的语言,这种说法能够成立,内置函数在其中 ...

‘BertTokenizer‘ has no len() additional_special_tokens add_tokens

‘BertTokenizer‘ has no len() additional_special_tokens add_tokens相关推荐

最新文章

热门文章