MEF:COA-NET

COA-NET: COLLABORATIVE ATTENTION NETWORK FOR DETAIL-REFINEMENT MULTI-EXPOSURE IMAGE FUSION

（COA-NET: 用于细节细化多曝光图像融合的协作关注网络）

近年来，多曝光图像融合 (MEF) 在计算机视觉领域引起了广泛的兴趣。之前的方法试图设计各种注意力模块，这些模块在融合过程中忽略多尺度视觉特征和信息退化，从而导致细节丢失和融合结果上的颜色失真。在本文中，我们提出了一种称为COA-NET的协作注意力网络，以端到端的方式处理MEF任务。具体而言，作为我们的骨干，多维关注模块（Multi-dimensioned attention module）学习了不同维度上的精细结构特征。此外，在COA-NET中嵌入了补偿注意模块，以实现并行特征更新并补偿退化的深度特征。通过两个模块的协作，我们的COA-NET生成了融合了精细的结构和忠实的细节。

介绍

MEF的关键问题是从曝光不足/曝光过度的图像中获取突出的特征和典型像素以强调重要区域。传统的手动设计MEF方法在忽略通道特征的同时，努力处理像素级色彩优化，从而导致关键信息丢失，例如伪影或色彩失真。近年来，卷积中立网络 (CNN) 已广泛应用于处理MEF任务。例如，DeepFuse ，DenseFuse 在解决照明和颜色偏差方面取得了突破，并提供了最先进的性能。开发注意力引导网络还可以优化培训效率，因为它更多地关注典型特征并简化了网络结构。SENet 是一个使用MEF的通道注意力的微小且快速的注意力模块，但是它会丢失一些空间信息。BAM 和CBAM 增加了空间关注，以使特征积累更丰富，但它们缺乏长期依赖和特征水平。

综上，我们提出了一个协作关注网络，用于HDR成像的细节细化多曝光图像融合 (COA-NET)。它使用具有各种维度的卷积内核的、倍增的分层注意机制来积累更多的通道信息。我们还添加了一个互补注意模块来丰富空间特征，这样它就可以在融合结果和地面真相之间取得令人钦佩的高度相似性。图1给出了典型的融合结果。

贡献：
• 建立了一个有效的注意力引导深度网络，以突出地优化MEF任务，主要模块获取输入图像的主要特征并补偿模块累积微小空间信息。
• 我们的COA-NET关注通道的长期依赖性，并丰富像素和颜色信息，以减少晕，出乎意料的阴影，并且比以前的试验提供了更多的视觉友好性能。
• 我们扩展了获取多维通道功能的想法，这些功能保留了更多感兴趣的视觉信息并提供了出色的设备。

方法

整体框架图：

Multi-dimensioned attention module

在多维注意模块 (MAM) 中，我们构建了基于SE块的多特征提取结构，以探索更长距离的依赖关系和通道之间的复杂关系。输入图像经过三个不同的卷积层，内核大小为3x3、5x5和7x7。然后将它们发送到轻型模块SE块。SE块提出了挤压和激励操作，以显式构造通道的依赖性。将单独的池化层放置在卷积块的同一级别。这里放大了特征图的感受域，以捕捉微小的细节。在其上采样操作之后，所有四个特征部分都被组合成一个具有丰富多样信息的128通道特征图。在生成的HDR图像中避免了由于颜色偏差引起的照明失真。

Compensate attention module

目前，网络能够取得令人满意的结果，空间特征被认为是至关重要的方面，以便专注于实际信息部分并促进更高水平的完整性。补偿注意模块 (CAM) 的通道池为输入图像的每个像素生成唯一的特征权重图。然后应用地图来加强感兴趣的眼部区域。

Fusion Process

给定曝光不足/曝光过度的3通道LDR图像I1，I2，主要是它们通过MAM产生未处理的注意力图。然后确定卷积层和重新层以进一步处理注意力图。则满足的融合结果可以计算如下:

Loss Functions

我们以分层的方式使用三种损失函数来减少形状为C ∗ H ∗ W的融合结果与地面真相之间的损失，并优化我们的网络。

根据理论，感知损失衡量图像之间的高级感知和语义差异。它将通过对地面真相的卷积获得的特征与通过对生成的图像进行卷积获得的特征进行比较，以使内容和全局结构接近。其中 φ j(x) 表示第j层的损失网络 φ 的激活，特征重建损失如下:

最后，我们设计以下表达式以平衡训练速度和融合视觉效果。
l = 0.05 * lper+ 0.95 * lMSE三个损失函数的对比实验结果将在实验部分给出。

FCAN相关

MEF:COA-NET相关推荐

MEF: MSDN 杂志上的文章(9) 控制部件创建策略？？？
http://msdn.microsoft.com/zh-cn/magazine/ee291628.aspx 默认情况下,容器中的所有部件实例都是单例,因而由在容器中导入它们的所有部件共享.因此,Sa ...
Silverlight中使用CompositionInitializer宿主MEF
MEF可以在传统应用程序中使用(包括桌面的Winform.控制台程序和Web的ASP.NET),也可以在RIA的Silverlight中使用.在Silverlight中只是宿主的方式有所不同,实际上在 ...
SAP QM 激活01检验类型的前提下无Vendor CoA则不允许收货过账
SAP QM 激活01检验类型的前提下无Vendor CoA则不允许收货过账前几天笔者写了一篇文章是关于不启用QM 检验类型的前提下,实现仓库部门收货环节No Vendor CoA则No GR的方法 ...
SAP QM 采购订单收货时没有Vendor CoA就不让收货过账的实现
SAP QM 采购订单收货时没有Vendor CoA就不让收货过账的实现物料号757, 指派了QM Control Key 0005, Certificate Type Z01,没有激活检验类型. ...
Managed Extensibility Framework (MEF)
http://msdn.microsoft.com/zh-cn/library/dd460648(v=vs.110).aspx [.NET] 浅谈可扩展性框架:MEF 转载于:https://www. ...
C#可扩展编程之MEF学习笔记(四)：见证奇迹的时刻
前面三篇讲了MEF的基础和基本到导入导出方法,下面就是见证MEF真正魅力所在的时刻.如果没有看过前面的文章,请到我的博客首页查看. 前面我们都是在一个项目中写了一个类来测试的,但实际开发中,我们往往要 ...
MEF程序设计指南七：使用目录（Catalog）动态装载xap与目录筛选（Filtered Catalog）...
如果不使用MEF进行托管扩展处理,只有通过WebClient进行程序包的下载.解析.实际上MEF的动态下载的底层实现一样是使用的WebClient,然后利用AggregateCatalog进行动态组合 ...
MEF加入中国SDN/NFV产业联盟
在本周举办的中国SDN/NFV年度会议期间,城域以太网论坛(MEF)和SDN/NFV产业联盟宣布建立双方合作的高层框架谅解备忘录(MOU).该谅解备忘录确定了聚焦于MEF的LSO(生命周期服务编排)计 ...
使用MEF实现通用参数设置
通用后台管理系统必备功能模块包含日志管理,权限管理,数据字典,参数配置等功能.参数设置主要用于设置系统运行所需的一些基础性配置项,比如redis缓存,mq消息队列,系统版本等信息.好的参数设置需要达到 ...
在应用程序中宿主MEF
在应用程序中宿主MEF其实非常简单,只需要创建一个组合容器对象(CompositionContainer)的实例,然后将需要组合的部件(Parts)和当前宿主程序添加到容器中即可.首先需要添加MEF框 ...