DeepDecision: A Mobile Deep Learning Framework for Edge Video Analytics

2024-05-17 00:24:51

1 简介

在移动终端设备上运行视频分析应用时，如果将应用放在终端设备上执行，可能产生巨大的能耗，并且终端的计算力可能不足以支持计算密集型的深度学习应用；若将应用卸载至云端，将产生通信时延和流量费用。如何选择合适的模型，分辨率，视频比特率，帧率，应用执行位置，是移动终端在执行视频分析应用时需要考虑的问题。在本文中，作者将该问题形式化，并给出了解决该问题的算法。

2 评价指标

FPS，端到端时延，准确度，带宽消耗，电池消耗。这些指标之间会相互影响，如端到端时延会影响准确度。

3 决策变量

帧的分辨率：分辨率的高低直接影响计算时延，电池用量和准确度。
模型的选择：选择使用复杂度不同的模型，影响计算时延，电池用量和准确度。
计算卸载位置：将计算放在服务器上可降低终端设别的电量消耗，允许更高的帧率和分辨率，但网络时延会使终端设备得到的计算结果过时从而降低准确率。
帧率：仅挑选一部分帧而不是所有帧进行处理。帧率直接影响计算量。如果计算被卸载到服务器上还会影响带宽使用。
视频压缩：视频的压制方式，当帧率和分辨率都相同时，压制方式不同也会影响视频的大小，当计算被卸载到服务器时可降低带宽使用，降低网络时延。网络时延又直接影响了准确率。

4 方法

问题形式化：

优化目标为帧率和准确度之和，y为0-1向量，表示模型的选择。
(2)计算时延=计算时延+传输时延，其中i=0的模型在服务器中执行，i>0时在终端设备上执行。
(3)表示选择的模型的计算一帧的时延小于帧的间隔。
(4)表示当选择在服务器上执行时，码率不能超过带宽限制。
(5)表示耗电量不能超过预设上限。
(6)当选择在服务器执行时，表示流量资费不能超过上限。
(7)(8)允许用户预设帧率和准确度的下限。
(9)表示只能选择一个模型。

作者将决策空间离散化（事先为帧率，分辨率，比特率等设置几个固定的取值），运用近似暴力的算法求解。求解时将i=0与i>0分开求解，求argmax时全部使用遍历的方式。其中bi，li，ai分别是能耗，时延，准确度的函数，这些函数没有数学解析式，需要线下实验记录数据，以表格的形式给出。

5 实验

实验分两部分：首先是测量各个指标之间的关系，包括分辨率与准确率的关系、分辨率与能耗的关系，比特率与准确率之间的关系等。然后是与各baseline方法进行比较，比较指标采用准确率。

DeepDecision: A Mobile Deep Learning Framework for Edge Video Analytics相关推荐

1.3读论文笔记：M. Raissi a等人的Physics-informed neural networks：A deep learning framework for solving forw..
Physics-informed neural networks: A deep learning framework for solving forward and inverse problems ...
【论文导读】- E-LSTM-D: A Deep Learning Framework for Dynamic Network Link Prediction（动态网络链接预测）
文章目录论文信息摘要论文贡献问题定义动态网络动态网络链接预测 E-LSTM-D 框架 Encoder–Decoder结构 1. 编码器(Encoder) 2. 解码器(Decoder) 堆 ...
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic
IJCAI 2018,大体思路:使用Kipf & Welling 2017的近似谱图卷积得到的图卷积作为空间上的卷积操作,时间上使用一维卷积对所有顶点进行卷积,两者交替进行,组成了时空卷积块, ...
A Blockchain-Based Machine Learning Framework for Edge Services in IIoT 论文学习
A Blockchain-Based Machine Learning Framework for Edge Services in IIoT IEEE TRANSACTIONS ON INDUSTR ...
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks 论文链接:https://dl.acm ...
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》
论文笔记:<DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks> 摘要 1. ...
A Novel Two-stage Separable Deep Learning Framework for Practical Blind Watermarking论文阅读
A Novel Two-stage Separable Deep Learning Framework for Practical Blind Watermarking Abstract 数字水印是一 ...
Clinically applicable deep learning framework for organs at risk delineation in CT images
Clinically applicable deep learning framework for organs at risk delineation in CT images 发表期刊:Natur ...
Edge Video Analytics (0) — Edge Video Analytics Paper List
Edge Video Analytics Paper List 来源:https://github.com/xumengwei/Edge-AI-Paper-List/blob/main/README. ...

最新文章

热门文章