Feature interation—— Bridge、Fusion、Filte

Feature interation（特征交互）：物品不同模态的表示属于不同的语义空间，并且每个用户对模态也有不同的偏好。因此，多模态推荐系统（MRS）寻求融合和交互多模态特征来生成用户和物品的特征表示。特征交互可以实现各模态不同特征空间到公共空间的非线形转化，交互方法可大致分为：Bridge、Fusion、Filter三类（这三种方法从不同的角度实现交互，它们可以同时应用于同一个模型中）。

多模态学习研究遵循的两个重要的准则：

互补性准则：一个模态的数据包含了其他模态数据所缺乏的信息。在多模态学习中可以利用多个模态之间的互补信息来增强模型，综合多模态的信息能够更加全面地表述目标对象。

一致性准则：学习过程中最大不同模态之间的一致性。一致性准则的出发点在于认为多模态数据共享某些一致的语义信息（从各个模态中抽取的语义表示共享某些一致性）。例如，从苹果的外观描述文本和苹果图像两种模态数据中抽取的语义特征应该有一定的一致性。

Bridge：

该方法考虑了多模态信息，着重于捕捉用户和物品之间的相互关系。图神经网络的消息传递机制可以通过用户与项目之间的信息交换增强用户表示，进一步捕获用户对不同模态信息的偏好，具体可通过构建每种模态的user-item，item-item图，然后进行图卷积等操作实现，如图一所示。

Fusion：

在多模态推荐场景中，用户和物品的多模态信息的种类和数量都非常庞大。因此，需要对不同的多模态信息进行融合，生成用于推荐任务的特征向量。与bridge相比，融合更关注物品内部的多模态关系，它旨在将各种偏好与模态相结合。注意力机制是目前使用最广泛的特征融合方法，可以根据不同权重和侧重点灵活的融合多模态信息。如图2所示。

Filtration：

由于多模态数据不同于用户交互数据，它包含了许多与用户偏好无关的信息即噪声。噪声可以存在于交互图中，也可以存在于多模态特征本身，因此可以将Filtration分别嵌入到Bridge（物品级降噪）和Fusion（特征级降噪）中。例如，MEGCF关注多模态特征提取与用户兴趣建模之间的不匹配问题，该方法首先构建多模态用户-项目图，然后利用评论数据中的情感信息在GCN模块中进行细粒度权重近邻聚合来过滤信息。

注：本文只对特征交互进行说明，其他细节可以看 Multimodal Recommender Systems: A Survey

Feature interation—— Bridge、Fusion、Filte相关推荐

VMware 修复 Workstation、Fusion 和 ESXi中的多个漏洞
聚焦源代码安全,网罗国内外最新资讯! 编译:代码卫士本周,VMware 发布 Workstation.Fusion 和 ESXi 产品线的安全更新,提醒称其中的堆缓冲区溢出漏洞 (CVE-2021 ...
Feature Selection详解（附带Relief、Relief-F、LVM详解）（一）
Feature Selection详解第二十五次写博客,本人数学基础不是太好,如果有幸能得到读者指正,感激不尽,希望能借此机会向大家学习.这一篇主要是针对特征选择问题的几种常见方法进行阐述,并介绍其 ...
GeoTools：WKT、GeoJson、Feature、FeatureCollection相互转换
测试用例: package top.reid.smart.geo;import cn.hutool.json.JSONUtil; import org.junit.jupiter.api.Test;i ...
GeoTools：WKT、GeoJson、Feature、FeatureCollection相互转换常用工具
参考文章: GeoTools:WKT.GeoJson.Feature.FeatureCollection相互转换转换工具类 import cn.hutool.core.util.ArrayUtil; ...
R语言使用caret包的rfe函数进行特征筛选、选择、特征消除RFE（Recursive Feature Elimination）进行特征筛选（feature selection）
R语言使用caret包的rfe函数进行特征筛选.选择.特征消除RFE(Recursive Feature Elimination)进行特征筛选(feature selection) 目录
Dockerfile精编细作（六）四种网络模式bridge、host、container、none
查看网卡信息查看ip信息:centos7:ip add或ip addr lo:localhost网卡 ens33:对外网卡以太网,本机ip docker0:docker容器和宿主机通信的网卡,Doc ...
CNN中feature map、卷积核、卷积核个数、filter、channel的概念解释，以及CNN 学习过程中卷积核更新的理解
feature map.卷积核.卷积核个数.filter.channel的概念解释 feather map的理解在cnn的每个卷积层,数据都是以三维形式存在的.你可以把它看成许多个二维图片叠在一起( ...
开源历史最全图像融合（image fusion）方法及架构论文、数据集、指标整理分享
图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率.改善计 ...
poj 2573 Bridge(有A、B、C、D四个人，要在夜里过一座桥……)
微软面试题题目大意:有A.B.C.D四个人,要在夜里过一座桥.他们通过这座桥分别需要耗时1.2.5.10分钟,只有一支手电,并且同时最多只能两个人一起过桥. 请问,如何安排,能够在17分钟内这四个人都 ...

Feature interation—— Bridge、Fusion、Filte

Feature interation—— Bridge、Fusion、Filte相关推荐

最新文章

热门文章