视频结构化+AI,智能安防的未来
视频结构化+AI,智能安防的未来
导语：中国安防市场上的视频监控系统建设，已经从基础系统的规模化建设转向深度应用层的功能模块建设，与此相关的各种安防新技术、IT与互联网新技术进入到更高级别的交融发展阶段，深度学习在视频结构化方面已经处于落地应用阶段了。
一、视频结构化的定义
原始的视频实际上是一种非结构化的数据，其中的目标只能直观的观看，不能直接被计算机读取和识别。视频结构化就是将视频这种非结构化的数据中的目标贴上相对应的标签，变为可通过某种条件进行搜索的结构化数据。视频结构化的叫法有很多，如视频目标属性解析、车辆结构化、行人结构化、 骑行结构化、人脸结构化、视频矢量分析、视频智能分析、视频内容检索分析、视频内容语义分析、视频机器学习应用等。
二、视频结构化的发展
视频智能处理经过了三个阶段，第一阶段是单兵设备，第二阶段是视频分布式处理，第三阶段就是视频结构化。前两阶段的特点是视频分析跟业务是耦合的，这在视频量小、业务相对简单时是适合的，但难以满足海量视频分析和日益复杂的业务需求。随着视频大数据时代的到来，需要一种解决方案，将视频智能分析与业务解耦，一个专注于海量视频的智能分析，一个专注于大数据的分析处理和用户的业务需求。
视频结构化发展又分为两个阶段：
第一阶段是目标识别与轨迹提取：
l 采用目标检测、特征提取、对象识别、深度学习等分析手段提取视频图像中的目标对象及运动轨迹。
l 对目标对象进行分类为人、车、物、行为、事件等不同类别。
将视频进行结构化分析,视频会分析如下结果：
1）把目标做人、车、物分类，生成快照索引信息
2）提取活动目标的轨迹信息
有了如上两类结果之后我们就可以做视频的搜索应用了。
1） 人、车、非机动车等分类搜索。
2） 轨迹搜索：
2.1)通过目标运动轨迹进行搜索：拌线、运动方向、运动区域等
2.2) 通过主颜色搜索目标
2.3）支持输入图片，通过目标外观进行相似度搜索
优点：
1） 多种搜索方式：类型搜索、轨迹搜索、颜色搜索、以图搜图。
2） 颜色矫正：克服不同摄像头的偏色问题
缺点：
所有厂商技术都是基于模式识别为基础的。
第二阶段是二次结构化：
l 进一步提取目标的高层特征包括目标颜色特征，分类特征，速度特征等，并把目标的轨迹信息以及高层特征形成高效的索引数据。
l 行人、人骑车、机动车结构化。
二次结构化可以说是有智的飞跃，在原有目标分类的基础上，可以做更多的工作，支持的属性更多，视频搜过的召回率、准确率得到大大的提升，具体我们看一下针对行人、人骑车、机动车的结构化。
优点：
1） 算法全面基于深度学习，搜索性能显著提升。
2） 可搜索的矢量特征值更多，从而提高召回率、准确率。
缺点：
数据量的问题，模型训练样本的数量。
三、视频结构化视频源的要求
3.1、天网、智慧城市、雪亮工程、3111工程等架设的摄像头都没有问题，如自已架设摄像头宜距地面3.5-5m，最大俯视角度不超过15度。
3.1、结构化视频目标像素要求
四、视频结构化服务器
明景科技专门做视频图像处理的，涉及的产品有两个系列：
视频侦查系列产品：视频智能摘要检索系统、视频图像增强处理系统、视频快速采集下载系统、视频勘察箱、视频结构化服务器。
车辆大数据系列产品：车辆大数据分析检索系统、车辆大数据结构化分析系统、未系安全带检测系统。
言归正传，分结构化能力、应用实例、部署方式、产品形态四个方面讲一下他们的结构化产品：
其一、结构化能力
行人结构化：
1) 上身衣着类型（马甲吊带背心、衬衫、西服、毛衣、皮衣夹克、羽绒服、大衣风衣、外套、连衣裙、无上衣等）
2) 上身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）
3) 下身衣着类型（长裤、短裤、长裙、短裙、连衣裙等）
4) 下身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）
5) 鞋子类型（光脚、皮鞋、运动鞋、靴子、凉鞋等）
6) 鞋子颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）
7) 携带包类型（单肩包、双肩包、拉杆箱、钱包等）
8) 携带包颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）
9) 发型特征（长发、短发、光头、帽子等）
10) 头部颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）
11) 衣服纹理（纯色、碎花、条纹、格子等）
12) 性别（男、女等）
13) 体态（胖、瘦、中）
14) 种族（汉族、维族、黑人、白人等）
15) 年龄段（幼儿、儿童、青年、中年、老年等）
16) 携带物（打伞、抱小孩、拿手机、眼镜、墨镜、围巾、腰带、无携带物等）
17) 朝向（正面、背面、侧面）
汽车结构化：
1) 车牌号码
2) 车牌颜色
3) 车身颜色
4) 车型
5) 品牌
6) 子品牌
7) 年款
8) 特征物(年检标、纸巾盒、遮阳板、挂件、摆件、主驾安全带、副驾安全带、打手机)
9) 运动方向
10) 运动距离
11) 经过时间
12) 经过地点
13) 目标大小
14) 目标快照(原始分辨率)
人骑车结构化：
1) 上身衣着类型（T恤、马甲吊带背心、衬衫、西服、毛衣、皮衣夹克、羽绒服、大衣风衣、外套、连衣裙、无上衣等），
2) 上身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等），
3) 下身衣着类型（长裤、短裤、长裙、短裙、连衣裙等），
4) 下身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等），
5) 携带包类型（单肩包、双肩包、无包、钱包等），
6) 携带包颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等），
7) 发型特征（长发、短发、光头、帽子、头盔等），
8) 衣服纹理（纯色、碎花、条纹、格子等），
9) 性别（男、女等），
10) 体态（胖、瘦、中），
11) 种族（汉族、维族、黑人、白人等），
12) 年龄段（幼儿、儿童、青年、中年、老年等），
13) 眼部特征（正常眼睛、眼镜、墨镜等），
14) 嘴部特征（正常嘴，戴口罩等）围巾特征（普通围巾、包头围巾等），
15) 非机动车颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色、银等）
16) 朝向（正面、背面、侧面），
17) 车上人数（0、1、2、更多），
18) 是否打伞，
19) 是否携带物品。
其二、应用实例
视频数据接入：
u 离线视频文件导入
Ø 支持的厂商：兼容主流厂家的视频文件下载（如海康、大华、宇视、华为/华赛、汉邦、天地伟业、中兴力维、科达、恒忆、英飞拓、东方网力、金鹏、浙江立元、 武汉烽火、上海皓维、同尊、苏州皓泰、苏州中德宏泰、中维世纪、金三立、大立、安联锐视、索尼、蓝色星际等）
Ø 支持的视频格式：h264、264、mp4、mpg、asf、avi、flv、wmv、mpeg、3gp、rm、rmvb、hik、dav、dvr、ts、h3crd、h3cv3、sdv、zv、znv、kdm4、ifv、mbf、jwr、avx、nsf、dat、mkv、avd、ps、KSJF、HE4、sv4、sv5、rec、m4v、hav、zmp5、600、692、801、ifv、lvf、vas、hdvr、dav、jav、eye、mov、dh、snv、bsr、msv、dvf等
Ø 支持原格式导入、转码后导入两种方式
u 实时视频流接入
Ø 支持rtsp协议视频流接入
Ø 支持IPC、NVR、DVR设备实时流接入
智能分析：
智能搜索：
u 智能搜索功能
Ø 轨迹搜索：感兴趣区域、拌线、进入驻留、行进方向、离开区域、不感兴趣区域、运动距离
Ø 时间搜索
Ø 目标分类搜索：人、机动车、人骑车、其他
Ø 特征搜索：人、机动车、人骑车的属性特征
Ø 外观条件搜索：主要颜色、颜色组合、屏幕取色、目标大小
Ø 以图搜索
u 智能结果显示功能
Ø 排序方式：按时间、相似度排序
Ø 显示类型：仅显示目标、目标和轨迹
智能播放器：
u 智能播放器功能
Ø 播放、暂停、倒放、前一帧、后一帧、快进、慢放、片断循环播放、书签、片断截取、物标、校时、变速播放、跳跃播放
Ø 快照与原始视频关联跳转
电子地图：
u 电子地图功能
Ø 添加摄像头、点标记、路线、案发地点、消失地点、计算移动区域、计算终点时间、计算移动速度、上下车地点等。
多任务并行处理：
Ø 结构化设备管理
Ø 结构化任务管理
Ø CPU占用率、内存占用率、磁盘空间等的监控
其三、部署方式
实时视频流结构化分析，系统基于结构化分析结果进行告警、检索和挖掘
离线视频文件上传结构化分析，系统基于分析结果进行大数据分析、检索
其四、产品形态
主要有两种，一种是成套产品，包括单机版和服务器版。另外一种是对外提供SDK的方式，值得一提的是sdk的接口特别全，集成起来比较简单。
视频结构化+AI,智能安防的未来相关推荐
- 【解决方案】AI+无人洗车能有多智能？EasyNVR赋能AI无人洗车视频结构化图像智能分析能力
一.方案背景 随着智慧城市的发展与应用,智慧城市也迎来了新形态的加入,在物联网.人工智能.移动互联网.大数据和AI智能分析.视频图像分析等技术的基础上,智能无人洗车系统获得了迅猛发展. 之前的洗车行业 ...
- AI智能安防视频平台EasyCVR视频突然播放不了的原因排查
EasyCVR视频融合云服务具备较强的兼容性.可拓展性,在视频接入上可兼容多类型的视频传输协议,在视频输出上,可分发多格式的视频流,覆盖全平台.全终端,包括PC.手机端.APP端.电子大屏等等.近期我 ...
- AI智能安防平台EasyCVR视频融合云服务平台云端录像展示优化
EasyCVR是我们支持的流媒体传输协议最全面的.有较强融合性的视频管理平台,支持协议包括国标GB28181.RTMP.RTSP/Onvif.海康SDK.大华SDK.Ehome等协议,能对多种终端(P ...
- AI智能安防视频EasyCVR平台接入国标硬件设备播放视频失败的原因排查与分析
EasyCVR视频融合云服务支持多协议.多类型的设备接入,并分发多格式的视频流,能覆盖全终端平台.EasyCVR能实现视频直播.云端录像.存储.检索及回看.平台级联等能力,可应用在多元化的安防视频监控 ...
- AI智能安防视频融合云平台EasyCVR分屏播放不能正常使用是什么原因？
EasyCVR视频融合云服务支持H.265编码视频Web直播,以及RTSP.RTMP.FLV.HLS视频流输出,可实现远程PC端(Windows.Mac.Linux).手机端(Android.iOS) ...
- 【解决方案】AI视频结构化智能分析平台EasyCVR搭建市教育考试院综合视频安防监控系统
一.背景概述 市区教育考试院承担合肥地区高考.研究生考试.非学历考试等考试任务,因此保障教育考试院的安全以及业务的顺利进行是极其重要的,这正是市区教育考试院综合安防视频监控系统设计的核心意义所在.教育 ...
- 【解决方案】AI视频结构化智能安防平台EasyCVR在森林火灾监测项目中的应用
一.方案背景 2019年8月,亚马逊地区森林大火多发且持续燃烧,过火面积超过100万公顷,玻利维亚有上千户家庭受灾.大火持续时间长,燃烧面积大,对当地的生态环境破坏较大.释放出大量的二氧化碳和气溶胶, ...
- 【解决方案】AI视频结构化智能安防平台EasyCVR实现检察院大楼智能安防监控方案
一.背景分析 人民检察院通过行使国家检察权来完成自己的任务,对于危害国家安全案.危害公共安全案.侵犯公民人身权利案.侵犯公民民主权利案和其他重大犯罪案件,行使检察权:对于公安机关侦查的案件进行审查,决 ...
- 【解决方案】汽车修理厂如何实现远程监控？EasyCVR视频结构化平台助力智能维修安防
一.背景分析 随着我们汽车保有量越来越多,汽车保养维修问题越来越多.随着社会经济水平提高,消费者对服务质量要求进一步提高,汽车维修店的安全防范与人员管理就成了一大难题.这样的汽车维修店大多店铺分散,且 ...
- AI、大数据时代，智能安防在智慧城市建设中的发展与应用趋势
佳都新太科技股份有限公司 袁名人 AI.大数据时代,智能安防在智慧城市建设中的发展现状 智慧城市是充分运用信息通信技术(ICT)感知.分析.整合和处理城市核心系统中的各类信息,对城市规划.建设和运营管 ...
最新文章
- 关于Java的Classpath详解
- python爬虫文件代码大全-Python网络爬虫实战项目代码大全（长期更新，欢迎补充）...
- 麟龙指标通达信指标公式源码_通达信指标公式源码神龙指标公式
- mysql replication principle--转
- 【Python】Github上125k+Star的Python算法资料
- SqlServer 数据库 分离复制备份然后附加回数据库 sql代码
- 上拉加载更多后台数据_微信小程序端操作云数据库
- 论文浅尝 | 知识图谱的不确定性衡量
- 蓝桥杯 ALGO-2算法训练 最大最小公倍数（贪心算法）
- 建模与计算机应用,数学建模与计算机应用竞赛.doc
- c语言括号表示法画树怎么画,各种树的画法，这篇文章写得太详细了，值得收藏！...
- 精约而不简单 极速迅雷只为下载而生
- redhat8安装rpm提示package does not verify: no digest
- iOS 3DTouch 开发
- Linux安装配置ssh 基于unbantu22.04.1 LTS版本
- 微信小程序视图控件与bindtap之间的问题的解决
- 会话初始协议---SIP协议【详解】
- Ubuntu_XMMS播放器使用
- 首届“兴智杯”产业赛收官，文心大模型助推产业创新
- 创新工具｜用同理心地图(Empathy Map)深度洞察用户
热门文章
- 软件测试工程师在不同阶段需要掌握的技能
- android接入华为推送,华为推送
- 微信小程序实现倒计时功能（超简单）
- idea 右键修复lint格式问题
- windows上编译，使用libtorrent
- css修改图标字体大小,css-更改AngularJS材质图标的图标大小
- 《《《总结》》》PCL的42个实例整理：1～24
- excel游戏_Excel 20190912的娱乐和游戏
- 基础练习 Sine之舞（最近FJ为他的奶牛们开设了数学分析课，FJ知道若要学好这门课，必须有一个好的三角函数基本功。所以他准备和奶牛们做一个“Sine之舞”的游戏，寓教于乐，提高奶牛们的计算能力。）
- 惩罚函数法迭代过程的本质及其他最优化方法中的一些概念