2020中国VR大会

一、虚拟现实中的真实行走漫游
1、Problem
- （1） Immersive virtual reality 沉浸式虚拟现实
- （2）Potential solutions
- （3）Challenges
2、Existing methods walking
- （1）Redirected Walking 重定向行走
- （2）Structure manipulation 结构操纵
- - a.Change Blindness
  - b.Impossible Space
  - c.Flexible Space
3、Redirected Walking 重定向行走
- （1）Eye information
- （2）Constraints
4、Mapping-based methods 基于映射的方法
- （1）Gobal mapping method
- （2）Reachable region decomposition 可达区域分解
5、Muti-user Real Walking 多用户真实行走
- Preserving perception
6、Perception-Aware Scene Restructuring基于感知的场景重构
7、Conclusion and future works
- （1）Consion
- （2）Future work
二、Web3D
- - Web 3D大数据在线可视化的挑战
  - WebVR技术特色：
  - WebVR研究学术性
  - WebVR优势
  - Web系统结构示意
  - 关键模块：
  - WebVR开发：
- VR的基础介绍：
- - - 1、什么是VR
    - 2、VR的显示原理
  - WebVR的基本介绍：
三、SLAM for AR
- SLAM常用传感器
- SLAM系统常用框架
- 视觉SLAM技术
- - 主要传感器
  - 其他辅助传感器
  - 优势
- SLAM面临的关键挑战
- - 1、精度和稳定性
  - 2、实时性
四、VR仿真
- 1、仿真的概念
- 2、仿真模型
- 3、VR的三个特征
- - （1）沉浸感又称临场感
  - （2）交互性
  - （3）想象力
- 4、AR
- 5、VR开发步骤
- - （1）VR应用的具体中实现步骤
  - （2）VR在应用中软件实现步骤
  - （3）VR在应用中硬件实现步骤
五、VR智能
- 1、基于YOLO v3和MobileNetv2的银行卡号识别
- 2、基于深度学习的在线学习者表情监督方法
- 3、视频监控节带化处理系统
- 4、AR辅助的基于HOG-SVM移动水稻病害智能分析与识别系统

一、虚拟现实中的真实行走漫游

1、Problem

（1） Immersive virtual reality 沉浸式虚拟现实

沉浸式：在非物质世界中的物理存在感，虚拟现实系统提供了一个引人入胜的环境，图像、声音、触觉围绕着用户。
互动式：探索/导航

（2）Potential solutions

Joysticks 操作杆
Walking-in-place
Real walking
效果：R>W>J

（3）Challenges

虚拟世界和真实世界的大小、形状和物体往往差别很大。

2、Existing methods walking

（1）Redirected Walking 重定向行走

大脑认为视觉线索支配人的自然运动。
在现实世界中的动作和虚拟世界中所感知到的东西之间的细微差别是可能的。
用户会不知不觉地在与实际路径不同的虚拟路径上重定向。

（2）Structure manipulation 结构操纵

a.Change Blindness

对虚拟结构操作进行更改，改变原始场景结构或者依据需求来生成特殊的环境，实现小空间漫游的大场景。

b.Impossible Space

东西模式固定。

c.Flexible Space

适合某些特定场景，普适性差，适用性不强。

3、Redirected Walking 重定向行走

对虚拟环境进行改造，不仅对原环境规划或重构，而是把这些环境进行映射，使其完全映射到现实空间内部，避开现实空间中的障碍物，用户直接漫经过映射后虚拟环境道路。但其适合在道路，无房间的地方进行映射，可以做迷宫或者街道。
优点：可以让用户完全自由漫步整个虚拟环境，而不受任何重置和打断。
缺点：会有一定的变形，两边会有遮挡，如果在自由开阔的地方，技术仍然是个问题。

（1）Eye information

Saccade 快速扫视
Blink 眨眼
缺点：很难获得数据

（2）Constraints

Exterior boundary constraint 外边界约束
Inter obstacke constraint 内部障碍约束
Smoothness 平滑度
Local bijection 局部双摄
Low isometric distortion 低等距失真

4、Mapping-based methods 基于映射的方法

（1）Gobal mapping method

显着提高了二维和二维二次元的性能，但由于虚拟场景大，现实空间尺度差别大，扭曲结果差别大，人的视觉体验效果较差。

（2）Reachable region decomposition 可达区域分解

全局映射：将道路分解成各个小部分，将每个小部分利用线性约束，优化后，得到一个所需要的的低扭曲的映射小块，最后再拼接到一块，将整个映射到现实空间内部。利用足够密的采样点来保证局部双摄，对整个区域进行全局优化。
映射步骤：
将需要映射的环境映射到红色的安全区，再进行平移旋转糅杂，将第二个部分映射，必须满足在红色安全区内，最后将所有部分都映射进去。

算法满足：

优化方法：最小边界成本 + Distoriton代价 s.t.光滑性约束 + 局部双摄

Local step ：super - patch based assembly
Global step ：optimizing all control points

约束：

函数约束
外部的波峰弯曲增益约束
两者比较：
Mapping-based methods比较流畅，而Redirected Walking不停会走到边界，出现reset，在原地旋转，导致用户浪费时间等。
未来研究：
针对道路扭曲、变形，未来的改进思路：首先先将全部虚拟环境映射到一个中间结果，映射没有完全映射到现实空间内部也没有把障碍物躲避开，而是利用Redirection技术，把中间映射的这个结果镜进行平移旋转来得到一个更好地映射放方法，获得一个更好地行走体验。

5、Muti-user Real Walking 多用户真实行走

Freely walking 自由行走
Physical interactions 物理互动
Co-locates requirement 在同一地点的规定

Preserving perception

Scale perception 尺度感知
避免产生过度或者过小的物体。
Structural perception
对象级结构保留且尊重场景层面的原始设计布局空间感知。
Spatial perception 空间可见性
保持虚拟场景的行走空间，避免元素间的重叠。
Perceptual visibility 感知可见性
保持特定对象可见性，不受特定视点和方向影响。
Linear equality constraints 线性等式约束
对齐和邻接约束。

6、Perception-Aware Scene Restructuring基于感知的场景重构

对整个场景进行一个压缩和变形，放到一个小的虚拟现实空间去，不仅仅是对道路，也可以对物体的位置进行一个重新的改变，但不仅是整体环境的缩小，也同时优化了场景中物体的摆放、大小、位置，视觉和感知可以比较接近原场景，视觉效果远远超过Mapping-based methods，但是其压缩比例不占优势，有些场景不适应，比如：开阔环境或者本身就很拥挤的环境。

7、Conclusion and future works

（1）Consion

Redirected Walking
优点：无失真。
缺点：重置，多用户下映射不好。
Mapping-based-method
优点：自由行走，可以实现多用户。
缺点：变形，适合道路型，现场改造型。
Scene restructuring
优点：开放式场景，自由行走，多用户下低失真。
缺点：比例约束较低。

（2）Future work

Open scenes
Redirectes walking
Muti-user system
Methods combination

二、Web3D

Internet +VR → Web3D→Mobile Web3D

Web 3D大数据在线可视化的挑战

3D场景相对于Web来说数据量太大和太复杂
大规模3D场景的网上加载速度太慢
Web在线渲染3D场景的速度太慢且光影效果差
Web3D开发VSE（虚拟服务程序）技术门槛高
无成熟轻量级Web3D引擎来支撑VSE便捷开发
Web3D在线交互编辑太慢
从Web3D到WebVR的设备接入问题

WebVR技术特色：

3D大数据的轻量化预处理技术
轻量化Web3D互动编辑关键技术
大规模Web3D渐进式对等传输机制
轻量级Web3D在线全局光照渲染算法
轻量级Web3D在线协同编辑器
WebBIM家具/建筑在线可视化服务

WebVR研究学术性

基于移动终端和互联网的VR具有巨大发展潜力。对于前者，低计算、低储存VR技术，云计算VR技术，低延迟大数据传输与新型交互等是可创新技术方向。
后者需要全屏3D绘制、VR设备接入与更适合的人机交互机制，以及新型浏览器标准。
WebVR将对现有浏览器和邮件系统等带来变革和颠覆性影响，成为互联网的新入口。

WebVR优势

天生轻量化
更具移动性
商业化属性更强
用户体验过门槛更低
Web端比App端更有优势

Web系统结构示意

关键模块：

后端：强大的服务器
中间：Web&VR的引擎
前端：面向中间用户的交互前端
接口：面向产品化的统一发布接口
商业：商业或产品化面向用户

WebVR开发：

WebVR.js
使用传统引擎-Unreal
使用第三方工具-AFrame

VR的基础介绍：

1、什么是VR

VR（Virtual Reality）是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等器官的模拟，让用户感觉仿佛身历其境，可以及时、没有限制的观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精准的三维世界视频传回产生临场感。

2、VR的显示原理

VR的显示依据为人眼的立体视觉成像原理。人眼的视觉是可以感觉出深度的，也就是深度知觉。而有了深度的信息后，才能判断出立体空间的相对位置。

WebVR的基本介绍：

WebVR，即VR on Web。将虚拟现实技术应用到网页中，用JavaScrpit来写虚拟现实相关的程序。从而在浏览器平台运行。WebVR具有更好地共享性，能提供用户之间的交互。
VR应用需要高精度、低延迟的接口，才能传递可接受的体验。而对于类似Device Orientation Event接口，虽然能获取浅层的VR输入，但这并不能为高品质的VR提供必要的精度要求。WebVR提供了专门访问VR的硬件的接口，让开发者能够构建舒适的VR体验。

三、SLAM for AR

SLAM:同时定位与地图构建

SLAM常用传感器

激光雷达或深度传感器
摄像头：单目、双目、多目等
惯性传感器（IMU，包括陀螺仪、加速度计）：智能手机标配

SLAM系统常用框架

视觉SLAM技术

主要传感器

单目摄像头
双目摄像头
多目摄像头

其他辅助传感器

廉价IMU、GPS
深度摄像头

优势

硬件成本低廉
小范围内定位精度高
无需预先布置场景

SLAM面临的关键挑战

1、精度和稳定性

动态变化、快速运动
弱纹理、重复纹理
优化计算不稳定

2、实时性

场景规模大
计算维度高
低功耗设备计算能力有限

四、VR仿真

1、仿真的概念

虚拟仿真：以建模与仿真理论为基础，以计算机系统为工具，根据研究目标，简历并运行虚拟模型，对研究对象（已有或设想的）进行认识与改造的过程。

仿真是具有特定的功能，按照某些规律结合起来，互相作用、互相依存的所有实体的集合或总和
系统具有结构和功能，系统是运动的
系统的三要素：实体、属性、活动
系统的三个特性：整体性、相关性、层次性
系统的基本分类：离散事件系统、连续时间系统、复杂系统

2、仿真模型

模型是从特定的研究角度对系统功能、结构、运动规律的逻辑抽象
模型与主客观的统一，是主要矛盾的反映
模型的分类

3、VR的三个特征

（1）沉浸感又称临场感

沉浸感就是让人专注当前的场景，忘记真实世界，是虚拟世界最终实现的目标。

（2）交互性

虚拟现实系统中的人机交互是一种近乎自然，用户通过穿戴传感设备，便可与虚拟场景中的物体进行实时交互。

（3）想象力

想象力设计者利用想象力来构想和设计虚拟世界（报考场景和实体）。

4、AR

增强现实技术（Augmented Reality，简称AR），增强现实就是把包括字母，数字，符号或者图形的几何信息叠加或融合到用户所看到的真实世界中，并增强效果，在空间场景中智能校准，关联和交互，犹如真实存在，即AR呈现的世界有真有假。

5、VR开发步骤

（1）VR应用的具体中实现步骤

（2）VR在应用中软件实现步骤

（3）VR在应用中硬件实现步骤

五、VR智能

1、基于YOLO v3和MobileNetv2的银行卡号识别

2、基于深度学习的在线学习者表情监督方法

3、视频监控节带化处理系统

4、AR辅助的基于HOG-SVM移动水稻病害智能分析与识别系统

2020中国VR大会（虚拟现实中的真实行走漫游+WebVR+SLAM for AR+VR仿真+VR智能）相关推荐

2020中国计算机技术大会,中国多媒体大会2020
ChinaMM2020是国内所有多媒体及相关方向研究与开发人员交流的平台.热忱欢迎每位从事多媒体技术及相关领域的专家.学者.学生和专业技术人员参会.图图Seminar是由<中国图象图形学报> ...
董军宇教授应邀在中国计算机应用大会智慧海洋分论坛做报告
7月29日-31日,第37届中国计算机应用大会(CCF NCCA 2022)在广州市花都区召开.大会以"聚焦智能应用产研互动,助力数字经济转型升级"为主题,邀请计算机行业内诸多顶 ...
2020 中国企业 500 强：华为投入研发 1317 亿、阿里 431 亿、中国移动 235 亿、百度 183 亿
2020 中国企业 500 强:华为投入研发 1317 亿.阿里 431 亿.中国移动 235 亿.百度 183 亿云头条 9月28日 9月28日,中国企业联合会.中国企业家协会发布"20 ...
2020中国大学生喜爱雇主榜单揭晓；宜家中国携手新裤子乐队发布合作单曲 | 美通企业日报...
今日看点前程无忧揭晓2020中国大学生喜爱雇主,112家领先企业当选.当选的112家2020中国大学生喜爱雇主中,43.7%的企业成立于千禧年以后,民营企业.国有企业和跨国公司分别有28家.28家和 ...
中国多媒体大会(ChinaMM 2020) 征文通知
本文转载自CCF多媒体专委会. 中国多媒体大会(ChinaMM 2020) 征文通知山东青岛 2020年9月18-20日网址:https://conf.ccf.org.cn/ChinaMM202 ...
虚拟现实(VR)在医疗保健中的5种应用
医疗保健中的VR虚拟现实虚拟现实的由来已久,18世纪,法国的医生使用布制的分娩模拟器向助产师和外科医生教授医学技术.在20世纪60年代初,医生一边对心肺复苏学员口述心肺复苏的技巧,一边使用一家塑料玩 ...
vr技术在中职计算机中的应用,虚拟现实技术在中职综合布线课程中的应用
摘要:今年来,随着中国对职业教育的重视,更多的学生就读职业院校,导致学校实训条件的严重不足,主要表现在硬件设施不足,教学时间.空间受限等问题.本文主要论述了利用虚拟现实技术搭建虚拟实验室系统来解决职业 ...
华为助力 2020 中国开源年会暨阿帕奇中国路演
业界最具影响力的开源年度盛会 2020中国开源年会暨阿帕奇中国路演 ( COSCon'20 & Apache Roadshow China ) 将于 10月24-25日由开源社举办.COS ...
“开源、共享、创新” 2020 中国.NET开发者大会小结
大会的新闻稿在2020年12月31日正式发布:开源·共享·创新|2020年中国.NET开发者大会圆满收官! , 本文是这篇新闻的补充性文章,仅代表个人对大会的各方面分享内容的一个小结. 在2019年上 ...

2020中国VR大会（虚拟现实中的真实行走漫游+WebVR+SLAM for AR+VR仿真+VR智能）