pytorch中bilinear的理解

直接参考官方文档，x1和x2是两个输入，A是参数矩阵，如下表达式

$y = x_1^T A x_2 + b$

但仔细看实现发现这个表达式并不是简单连乘的关系。假设x1(shape是b,n)和x2(shape是b,m)是二维，那么A是个三维tensor(shape是a,n,m)。具体实现时，A先拆成a个(n,m)形状的tensor，x1分别与之矩阵乘后再点乘（公式里的两次乘法），得到了a个(b,m)形状的tensor，然后在axis=1的维度上求和，最终输出成(b,a)的shape，用爱因斯坦表示法就是bn,anm,bm->ba，下面上一下code：

import torch
import torch.nn as nn
import numpy as npl = torch.ones(2,5)
A = torch.ones(3,5,4)
r = torch.ones(2,4)
print(torch.einsum('bn,anm,bm->ba', l, A, r))
print(torch.nn.functional.bilinear(l,r,A))x = torch.ones(2,5)
w = torch.ones(3,5)
print(torch.einsum('ij,kj->ik', x,w))
print(torch.nn.functional.linear(x,w))print('learn nn.Bilinear')
m = nn.Bilinear(5, 4, 3)output = m(l, r)
print(output.size())
arr_output = output.data.cpu().numpy()weight = m.weight.data.cpu().numpy()
bias = m.bias.data.cpu().numpy()
x1 = l.data.cpu().numpy()
x2 = r.data.cpu().numpy()
print(x1.shape, weight.shape, x2.shape, bias.shape)
y = np.zeros((x1.shape[0], weight.shape[0]))
for k in range(weight.shape[0]):buff = np.dot(x1, weight[k])buff = buff * x2buff = np.sum(buff, axis=1)y[:, k] = buff
y += bias
dif = y - arr_output
print(np.mean(np.abs(dif.flatten())))

pytorch中bilinear的理解相关推荐

pytorch中repeat()函数理解
pytorch中repeat()函数理解最近在学习过程中遇到了repeat()函数的使用,这里记录一下自己对这个函数的理解. 情况1:repeat参数个数与tensor维数一致时 a = torch ...
pytorch 中 contiguous() 函数理解
pytorch 中 contiguous() 函数理解文章目录 pytorch 中 contiguous() 函数理解引言使用 contiguous() 后记文章抄自 Pytorch中cont ...
Pytorch中的contiguous理解
最近遇到这个函数,但查的中文博客里的解释貌似不是很到位,这里翻译一下stackoverflow上的回答并加上自己的理解. 在pytorch中,只有很少几个操作是不改变tensor的内容本身,而只是重新 ...
Pytorch中contiguous()函数理解
引言在pytorch中,只有很少几个操作是不改变tensor的内容本身,而只是重新定义下标与元素的对应关系的.换句话说,这种操作不进行数据拷贝和数据的改变,变的是元数据. 会改变元数据的操作是: n ...
Pytorch中dim的理解
dim的定义 dim 表示维度 x = torch.randn(2, 3, 3)print(x) print(x.size()) print(x.dim()) 输出: tensor([[[-1.694 ...
pytorch中unsqueeze()函数理解
unsqueeze()函数起升维的作用,参数表示在哪个地方加一个维度. 在第一个维度(中括号)的每个元素加中括号 0表示在张量最外层加一个中括号变成第一维. 直接看例子: import torch i ...
pytorch中数组维度的理解
pytorch中数组维度理解与numpy中类似,pytorch中维度用dim表示,numpy中用axis表示这里主要想说下维度的变化. dim = x ,表示在第x为上进行操作,那个维度会发生变化. ...
pytorch中的nn.Bilinear
参考:pytorch中的nn.Bilinear的计算原理详解代码实现使用numpy实现Bilinear(来自参考资料): print('learn nn.Bilinear') m = nn.Bil ...
pytorch中网络loss传播和参数更新理解
相比于2018年,在ICLR2019提交论文中,提及不同框架的论文数量发生了极大变化,网友发现,提及tensorflow的论文数量从2018年的228篇略微提升到了266篇,keras从42提升到56 ...

pytorch中bilinear的理解

pytorch中bilinear的理解相关推荐

最新文章

热门文章