分层注意网络HAN介绍

背景

HAN是微软提出的一个网络，试图从句子的单词，文档的句子分层次构建网络。

1 模型

1.1 GRU序列编码

GRU两个门，重置门 r t r_t rt和更新门 z t z_t zt，一起控制信息的流动。

1.2 层次注意力机制
1.2.1 词编码与解码

编码过程

词的注意力机制：

1.2.2句子的编码与注意力机制
句子编码也是GRU，并且应用注意力机制。

2. 实践

参看链接2。

3. 总结

方法比较简单易懂，注意力机制也是谷歌提出后比较火的方法，双向GRU也是常见循环神经网络。

reference:
1.原论文;
2.HAN应用博文

分层注意网络HAN介绍相关推荐

【论文分享】用于中文零代词解析的带有配对损失的分层注意力网络
[AAAI 2020]Hierarchical Attention Network with Pairwise Loss for Chinese Zero Pronoun Resolution 论文地 ...
基于分层注意力网络的方面情感分析
点击上方蓝字关注我们基于分层注意力网络的方面情感分析宋婷1, 陈战伟2, 杨海峰1 1 太原科技大学计算机科学与技术学院,山西太原 030024 2 中国移动通信集团山西有限公司,山西太原 0 ...
ACM MM2021 HANet：从局部到整体的检索！阿里提出用于视频文本检索的分层对齐网络HANet！代码已开源！...
关注公众号,发现CV技术之美 ▊ 写在前面视频-文本检索是视觉语言理解中一项重要但具有挑战性的任务,它旨在学习一个相关的视频和文本实例相互接近的联合嵌入空间.目前的大多数工作都只是基于视频级和文本级 ...
网络--网络分层，网络协议，IP地址
1.以太网 1.1什么是以太网? 以太网是目前最为广泛应用的计算机网络技术.他分为两种:一种是经典以太网,另一种是交换式以太网,使用了交换机连接不同的设备.交换式以太网的网速大于经典式以太网.以太网 ...
Linux 网络路由介绍
from: Linux 网络路由介绍六月份的时候我们讨论了基础网络配置,其中有一点我没提到的是路由.这篇文章将简洁明了的介绍下Linux网络下的路由,来方便理解一些简单的网络环境. 每台网络中相连的 ...
网络爬虫介绍||为什么学网络爬虫
网络爬虫介绍在大数据时代,信息的采集是一项重要的工作,而互联网中的数据是海量的,如果单纯靠人力进行信息采集,不仅低效繁琐,搜集的成本也会提高.如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是 ...
常见网络命令介绍及使用
常见网络命令介绍及使用 ping 介绍参数说明使用例子 ipconfig 介绍参数说明使用例子 tracert 介绍参数说明使用例子 netstat 介绍参数说明使用例子 route ...
python 网络爬虫介绍
一.网络爬虫相关概念网络爬虫介绍我们都知道,当前我们所处的时代是大数据的时代,在大数据时代,要进行数据分析,首先要有数据源,而学习爬虫,可以让我们获取更多的数据源,并且这些数据源可以按我们的目的进 ...
Docker 外部访问容器Pp、数据管理volume、网络network 介绍
Docker 外部访问容器Pp.数据管理volume.网络network 介绍外部访问容器容器中可以运行一些网络应用,要让外部也可以访问这些应用,可以通过 -P 或 -p 参数来指定端口映射. ...

分层注意网络HAN介绍

背景

1 模型

2. 实践

3. 总结

分层注意网络HAN介绍相关推荐

最新文章

热门文章