一、问题说明

使用tensorrt进行加速的时候，遇到

需要自已定义torch.bmm进行替换。

二、问题解决

进入到安装torch2trt所在的converters目录，例如我的在/opt/conda/lib/python3.7/site-packages/torch2trt-0.3.0-py3.7-linux-x86_64.egg/torch2trt/converters/
创建bmm.py文件并写入以下内容

from torch2trt.torch2trt import *@tensorrt_converter('torch.bmm')
@tensorrt_converter('torch.Tensor.bmm')
def convert_bmm(ctx):input_a = ctx.method_args[0]input_b = ctx.method_args[1]output = ctx.method_returninput_a_trt, input_b_trt = trt_(ctx.network, input_a, input_b)layer = ctx.network.add_matrix_multiply(input_a_trt,trt.MatrixOperation.NONE, input_b_trt,trt.MatrixOperation.NONE)output._trt = layer.get_output(0)

打开与当前目录同级下的__init__.py文件，并添加以下内容即可。

from .bmm import convert_bmm

tensorrt遇到torch.bmm的解决相关推荐

关于torch.bmm()函数计算过程
很多框架中提供的矩阵乘法都是出于简化计算的考虑,很多情况下在进行计算时候都会牵扯到 batch size 这一个维度,这就使得很多矩阵的计算是三维的,Pytorch中的bmm()函数就可以很方便的实现 ...
【pytorch】torch.mm，torch.bmm以及torch.matmul的使用
torch.mm torch.mm是两个矩阵相乘,即两个二维的张量相乘如下面的例子 mat1 = torch.randn(2,3) print("mat1=", mat1)mat ...
torch.bmm()函数的使用
torch.bmm()的使用: a=torch.Tensor([[[3,4],[1,2]],[[3,4],[1,2]],[[3,4],[1,2]]]) b=torch.Tensor([[[1,2],[ ...
pytorch 之 torch.bmm()函数
这是一个计算两个tensor之间乘积的函数,该函数要求两个tensor必须都是三维的,且对两个tensor维度有限制,要求啊a,b两个tensor有如下格式: a:(z,x,y) b:(z,y,c) ...
torch.bmm() 与 torch.matmul()==＞张量的相乘运算
torch.bmm()强制规定维度和大小相同 torch.matmul()没有强制规定维度和大小,可以用利用广播机制进行不同维度的相乘操作当进行操作的两个tensor都是3D时,两者等同. torc ...
Pytorch教程之torch.mm、torch.bmm、torch.matmul、masked_fill
文章目录 1.简介 2.torch.mm 3.torch.bmm 4.torch.matmul 5.masked_fill 1.简介这几天正在看NLP中的注意力机制,代码中涉及到了一些关于张量矩阵乘 ...
torch.bmm()
文章目录函数介绍例子函数介绍 torch.bmm(input, mat2, *, out=None) → Tensor 输入: input (Tensor) – the first batch ...
torch.bmm()函数解读
函数作用计算两个tensor的矩阵乘法,torch.bmm(a,b),tensor a 的size为(b,h,w),tensor b的size为(b,w,m) 也就是说两个tensor的第一维是相等 ...
【Pytorch】torch. bmm()
目录简介 torch.bmm() 语法作用举例参考结语简介 Hello! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- ଘ(੭ˊᵕˋ)੭ 昵称:海轰标签:程序猿|C+ ...

tensorrt遇到torch.bmm的解决

一、问题说明

二、问题解决

tensorrt遇到torch.bmm的解决相关推荐

最新文章

热门文章