2019-一个基于CNN的多模式工具来保证视频的正确性A MULTIMODAL CNN- BASED TOOL TO CENSURE INAPPROPRIATE VIDEO SCENES
作者的目的是：设计一个审查工具来检测视频中存在的暴力、色情画面。然后对这些画面进行模糊处理，声音进行删除。作者使用的是基于卷积神经网络（CNNs）的多模态（音频特征和图像特征）架构，用于检测。作者的模型在检测适当画面和不适当画面分别得到了98.95%和98.94%的F1分数。
作者使用了两个深度CNN，一个用于提取图形序列特征，另一个用于提取音频特征。然后将这些特征结合起来，为整个视频（或视频片段）创建一个单一的特征向量，然后作为分类器的输入。基于CNN的分类器由两个模块组成。第一个模块作为主干充当特征提取器，模型从中提取其辨别能力。第二个模块，分类器，通过主干对提取的特征进行操作，对其进行聚合和分类。
作者以每秒1帧的速度解码每个视频，直到最初的360秒，并使用ImageNet V3上预先训练的网络权重，以提取图像嵌入。使用Audio VGG提供的Audioset 上预先训练的网络权重，以提取音频嵌入。之后使用PCA（和whitening）将图像嵌入的维数转换为1024，将音频嵌入的维数转换为128.最后将图像和音频嵌入合并，形成最终的1152维视频嵌入。
然后将嵌入的视频信息翻看给支持向量机（SVM）进行分类。分类器的体系结构如下图：
作者通过Precision（P）、Recall（R）、和F1-Score来评估模型是否适当用适当和不适当的类别。
作者设计的审查工具其过程总结为以下步骤：
1.分割：接收到的视频被分割成视频片段（每个片段最多5秒）
2.分类：每一段都有适当或不适当的标签。
3.审查：如果一段视频被贴上不合适的标签，视频的音频就会被删除，图像也会变得模糊
4.合并：最后，视频片段被合并（第一个标记为适当的片段和通过审查过程的片段）。
下图为工具的工作原理：
作者提到使用了python中MoviePy执行拆分和合并步骤。特征提取使用的是基于Youtube-8m: A large-scale video classification benchmark的工作。
审查步骤是通过提取视频片段的所有帧，对每个帧应用高斯模糊，然后用处理后的帧替代帧来执行的。高斯模糊公式如下：
在该公式中，x是水平轴上距原点的距离，y是垂直轴上距原点的距离，以及σ 是高斯分布的标准差。下图显示了这种图像处理的示例：
除了从视频文件中自动删除不合适的视频场景外，作者设计的工具还返回一个XML文件，告诉每个不合适场景的开始和持续时间，以便视频服务能够自主决定如何处理这些场景。
作者测试的结果
2019-一个基于CNN的多模式工具来保证视频的正确性A MULTIMODAL CNN- BASED TOOL TO CENSURE INAPPROPRIATE VIDEO SCENES相关推荐
- 使用 ABAP 开发的一个基于 Web Socket 的小工具，能提高程序员日常工作效率
程序员区别于其他岗位的一个优势是,我们可以充分利用自己掌握的编程语言,将平日一些琐碎的,重复的日常工作,通过代码来实现自动化,从而省下更多的时间来投入到技术含量更高的工作中,提高工作效率. 本文介绍一 ...
- IBM公司新推一个基于云计算的Web分析工具
据外媒报道,IBM最新推出了一个Web分析工具,结合了其现有的基于B/S架构的专业数据度量和分析工具 CoreMetrics和营销分析服务Unica.IBM在去年耗资4.8亿美元收购Unica,帮助企 ...
- 基于 eBPF 的新型追踪工具：bpftrace
bpftrace 是一个 基于 eBPF 的新型追踪工具,在 Fedora 28 第一次引入.Brendan Gregg.Alastair Robertson 和 Matheus Marchini 在 ...
- dtop: 一个基于减法的系统占用率及系统性能测量工具
top / htop 等CPU占用率查看工具是通过累计系统时钟中断tick数目的方法来实现的.当在一个时钟中断周期内(1/Hz) 发生了多次进程调度的时候,这种 "加法" 的统计方 ...
- 【宇麦科技】十大基于风险的漏洞管理工具
基于风险的漏洞管理工具为IT安全团队提供了一种持续的自动化能力,可以根据网络漏洞对特定组织构成的相对风险来识别.确定优先级和修复这些漏洞. 由于大型复杂互联计算环境中存在大量漏洞,企业难以及时部署所有 ...
- You-Get——基于Python3的媒体下载工具
You-Get是一个基于 Python 3 的下载工具.使用 You-Get 可以很轻松的下载到网络上的视频.图片及音乐. 项目主页:https://github.com/soimort/you-ge ...
- 十大基于风险的漏洞管理工具
基于风险的漏洞管理工具为IT安全团队提供了一种持续的自动化能力,可以根据网络漏洞对特定组织构成的相对风险来识别.确定优先级和修复这些漏洞. 由于大型复杂互联计算环境中存在大量漏洞,企业难以及时部署所有 ...
- Aski AI: 基于人工智能的在线AI工具平台
[产品介绍] Aski AI是一个基于人工智能的在线AI工具平台,它可以帮助用户快速.准确.全面地解决各种问题.无论是学习.工作.生活.娱乐还是其他领域,只要输入你的问题,Aski AI就会为你提供最 ...
- 基于深度学习分析与检索海量短视频内容
在RTC 2018 实时互联网大会上,美图云视觉技术总监赵丽丽分享了美图在短视频领域的AI技术应用,内容主要包括三部分:美图短视频的业务场景,基于此业务场景所做的短视频内容分析和检索技术,以及遇到的问 ...
最新文章
- 利用python模块paramiko在CentOS 6.3 64上搭建SFTP环境
- IOS开发基础知识--碎片45
- 解决 python用 xlsxwrite 向excel 中写入中文字符串变量 报错
- Eclipse配置Android开发环境
- 3/7 SELECT语句：过滤（WHERE）
- 1分钟了解区块链的本质
- jQuery 树插件ZTree使用Demo
- 前天做了一个点击随机改变背景色的JS,请各位老师指导下:
- 计算机网络学习笔记（4. Internet结构）
- 阶乘、斐波那契数列（java版）
- MacOs终端忽略大小写
- 程序员必看—程序员如何高效提升自己？
- strtol ( )【C语言库函数源代码】
- MATLAB 2020b版本发布，下载试用版并上手使用记录。
- DELMIA软件物流仿真：带曲线转角输送带输送物料的仿真操作方法
- c#餐饮系统打印机_Ｃ＃ 实现打印机功能
- 9008刷机工具_黔隆科技刷机教程OPPOR11忘记密码免刷机保资料解屏幕锁教程
- 独立游戏开发（十七）-- 发布Taptap
- 计算机消极影响英语作文,关于手机的消极影响高中英语作文
- IntelliJ IDEA 如何设置author头注解