Edgent:移动设备与边缘的协同推理
本文出自于论文Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy ,主要介绍了一种移动设备与边缘协同作用的DNN协同推理框架。
文章目录
- 一、简介和相关工作
- 二、背景及研究动机
- 三、框架
- 四、实验评估
- 五、结论
一、简介和相关工作
- 在资源受限的移动设备上运行DNN会带来高能耗,而将DNNs卸载到云上执行时,由于无法控制长时间广域网延迟,其性能也难以预测。为了解决这些挑战,在本文中我们提出来Edgent,一个协同和按需的DNN协同推理框架,它将设备与边缘协同作用。Edgent包含两个关键点:(1)自适应地将DNN计算划分在设备和边缘之间的DNN分区,利用相邻的混合计算资源进行实时的DNN推理;(2)通过在适当的中间DNN层提前退出来加速DNN推理,从而进一步降低计算延迟。
- DNN处理的传统方式是将移动设备生成的输入数据发送到云端进行处理,推理后将结果发送回移动设备。然而以云端为中心的方案,大量数据需要借助长时间的广域网数据传输来上传到云,导致高度端到端延迟和移动设备能耗。为了减轻以云为中心方法的延迟和能量瓶颈,一个更好的方案是利用新型的边缘计算范式,边缘计算支持低延迟和高效的DNN推理。
- Edgent进一步结合了DNN分区和DNN的正确规模,通过在中间DNN层的早期退出来加速DNN推理。但是早期退出会导致部分精度损失,因此Edgent通过随需应变的方式联合优化DNN分区和正确规模。
- 我们采取一种向外扩展的方案,来释放边缘和移动设备之间的协作优势智能,从而缓解终端设备的性能和能量瓶颈。在另一方面,DNN分区不足以满足关键任务应用程序的严格及时性要求。因此,我们进一步应用了DNN的大小调整方法来加速DNN推理。
二、背景及研究动机
- DNN划分:将DNN划分成两部分,然后以较低的传输开销将计算密集型的一部分转移到服务器,于是减少了端到端延迟。通过在设备和边缘之间的DNN划分,我们能够协作混合计算资源在靠近低延迟的DNN推理。
- DNN正确大小:为了进一步降低延迟,我们可以将DNN正确调整大小的方法与DNN划分相结合。DNN的适当大小可以通过提前退出机制来加速模型推理。直观来说,DNN的适当调整进一步减少了DNN推理任务所需的计算量。
- 问题描述:给定预定义的和严格的延迟目标,我们在不违背截止日期要求的前提下要最大化精度。本文要解决的问题可以概括如下:给定一个预定义的延迟要求,为了最大化DNN推理精度,应当如何联合优化DNN划分和正确大小的决定。
三、框架
- Edgent的初步设计:一个框架可以自动地和智能地选择一个DNN模型的最佳划分点和退出点来使精度最大化,同时满足执行延迟的要求。Edgent由三个阶段组成:离线训练阶段,在线优化阶段和协作推理阶段。在离线训练阶段,Edgent执行两个初始化:(1)分析移动设备和边缘服务器来生成对不同类型DNN层的基于回归的性能预测模型;(2)使用BrachyNet来训练带有不同退出点的DNN模型,使部分样本可以提前退出。在在线优化阶段,DNN优化器选择DNNs的最佳划分点和早期退出点,从而使精度最大化,同时在端到端延迟上提供性能保证。在协作推理阶段,根据划分和早期退出安排,边缘服务器将在划分点和其余将在移动设备上运行前执行网络层。
- 层延迟预测:在估计DNN的运行时,Edgent对每层的延迟进行建模,而不是在整个DNN的粒度上建模,这极大减小了分析开销。基于每层的以上输入,我们建立了一个回归模型来预测基于分析的每层延迟。
- DNN划分和正确大小的联合优化:在在线优化阶段,DNN优化器收到了来自移动设备的延迟需求,然后寻找训练过的branchynet模型的最佳出口点和划分点。
- Edgent构建算法描述:
四、实验评估
- 当最佳划分点可能变化时,我们可以看到最佳退出点随着带宽提升也在变得更高,这意味着更高的带宽会带来更高的精度。
- 当带宽增加时,模型的运行时间首先会大幅下降然后会突然上升。这表明我们提出的基于回归的延迟方案可以很好地预估实际的DNN模型运行时延迟。
- 随着延迟需求的增加,最佳退出点会变得更高,这意味着一个较大的延迟目标给予精度提升更大的空间。
五、结论
在这项工作中,我们提出来Edgent,一个协作和随需应变的基于设备-边缘协同的DNN协同推理框架。针对低延迟边缘智能,Edgent引入了两个设计关键点来调整DNN模型的延迟:(1)DNN分区支持边缘和移动设备之间的协作;(2)DNN正确大小决定了DNN的计算要求。
Edgent:移动设备与边缘的协同推理相关推荐
- 云计算与边缘计算协同 九大应用场景
前言 2019 年边缘计算备受产业关注,一度引起了资本市场的投资热潮,很多人把2019 年称作边缘计算的元年.理性来看,造成如此火爆局势难免有一些炒作因素在推波助澜,毕竟边缘计算的概念存世也已多年.当 ...
- 边缘计算应用场景_云计算与边缘计算协同九大应用场景(2019年)发布(附PPT解读)...
为了进一步促进云计算创新发展,建立云计算信任体系,规范云计算行业,促进市场发展,提升产业技术和服务水平.由中国信息通信研究院(以下简称"中国信通院")主办,中国通信标准化协会.中国 ...
- FPGA加速BCNN,模型20倍剪枝率、边缘设备超5000帧/秒推理吞吐量
©作者 | 机器之心编辑部 来源 | 机器之心 来自康涅狄格大学等机构的研究者提出了一种基于结构剪枝的 BCNN 加速器,它能以较小的准确率损失获得 20 倍的剪枝率,并且在边缘设备上提供了超过 50 ...
- 爱奇艺面向海量设备的边缘计算PAAS平台及应用实践
2020 年 11 月 7 日,由边缘计算社区主办的全球边缘计算大会在北京成功召开,作为业内首个专门为边缘计算人打造的行业盛会,此次活动现场共有超过500+来自政.产.学.研.用各界的企业负责人.权威 ...
- 神码ai人工智能写作机器人_从云到设备到边缘的人工智能和机器学习的未来
神码ai人工智能写作机器人 A brief overview of the state-of-the-art in training ML models on devices. For a more ...
- 云计算与边缘计算协同服务的研究
云计算与边缘计算发展背景 在物联网.云计算等技术被广泛应用的背景下,越来越多的终端设备数量加入网络,据统计,2020年后全球联网终端数量将超过500亿[1].海量的终端数量以及用户要求的低延迟使得集中 ...
- 论文浅尝 | 神经协同推理
论文笔记整理:叶橄强,浙江大学计算机学院,知识图谱和知识推理方向. Paper link: https://arxiv.org/abs/2005.08129 Github link: https:// ...
- Modbus设备通过边缘网关接入阿里云IoT平台
无需编程,通过边缘计算网关把工业领域常见的Modbus协议的硬件设备接入IoT云平台. 前提条件 根据本产品的环境要求,选择运行边缘计算产品的硬件载体,例如准备一个硬件网关或者PC机,然后安装本产品. ...
- 边缘计算协同人工智能 赋能工业智能化场景
工信部<"十四五"智能制造发展规划>中提到的,到2025年规模以上制造业企业基本普及数字化,智能制造装备国内满足率超70%. 工业互联网(Industrial Inte ...
最新文章
- python selenium 等待页面加载完毕_Selenium_等待页面加载完毕
- 综述|深度学习在SLAM定位与建图中的应用(近250篇参考文献)_3D视觉工坊的博客-CSDN博客
- PMCAFF产品经理社区原创专栏,产品圈的干货看这儿就够了
- java实验类与对象_【实验课件】上机实践2 类与对象
- c语言语句大全ppt,C语言基本语句.ppt
- rsync 使用小记
- 注意点在XMind 6中的使用注意事项
- python下载不了怎么回事_python怎么下载
- 自定义TextView属性和设置TextView属性
- .Net Core 使用swagger UI
- python词云图绘制
- 蓝桥杯:填字母游戏(第八届决赛javaB第五题) 博弈+递归+回溯+map记忆化
- 微软ASP加密软件 sce10ch
- Java程序员怎么规划五年职业生涯
- css3水墨遮罩,CSS3水墨风格带音乐动画图特效
- 点餐系统的开发,java后台+微信小程序 实现完整的餐厅点餐系统。微信扫码点餐小程序源码讲解
- python字典的遍历方式:向列表一样通过索引遍历字典的值
- 3.堆栈指针寄存器 SP 详解
- java 解密pdf_java – pdfbox:试图解密PDF
- 北京linux嵌入式培训,北京嵌入式培训上嵌Linux开发基础和嵌入式C语言初级编程总结...