重要属性介绍

Vision sensors分为正交投影型（Orthographic projection-type）和透视投影型（Perspective projection-type），视场形状如下：

小于近端剪切平面和大于远端剪切平面的对象是不可见的，通过传感器属性的Near / far clipping plane来设置近端剪切平面和远端剪切平面距离。

参数

视场角设置

通过Perspective angle [deg] / Orthographic size设置

Packet1 is blank

Vision Sensor得到图像的RGB和深度数据是通过Packet1来返回的，滤波器得到的图像通过Packet2、Packet3等得到的。

Packet1包括15个数据位，分别为：灰度、RGB、深度信息，可以通过simReadVisionSensor来获得。

P a c k e t 1 = I m i n , R m i n , G m i n , B m i n , D m i n , I m a x , R m a x , G m a x , B m a x , D m a x , I a v g , R a v g , G a v g , B a v g , D a v g Packet1 = {I_min,R_min,G_min,B_min,D_min,I_max,R_max,G_max,B_max,D_max,I_avg,R_avg,G_avg,B_avg,D_avg} Packet1=Imin,Rmin,Gmin,Bmin,Dmin,Imax,Rmax,Gmax,Bmax,Dmax,Iavg,Ravg,Gavg,Bavg,Davg

视觉传感器的Z轴沿着视线方向，Y轴代表Up方向，X轴垂直于Y/Z轴指向传感器向左边。如下图所示，将传感器放在机器人正前方，可以看出获得的图像跟人眼观察到的一样，没有镜像。图像的X轴与视觉传感器的X轴方向相反，Y轴方向相同

注:上图转自https://www.cnblogs.com/21207-iHome/p/7120497.html 侵删

Vision Sensor数据在场景中的显示

在此以后，要打开Vision Sensor的属性一下，然后再关闭，否则Floating view检测不到传感器！

开启仿真后，才能看到数据。

关于Image processing and triggering的问题

网上有博主的文章中提到，该选项用于配置图像数据的滤波器，而有些老铁发现自己的传感器属性对话框中没有该选项，这是因为后续版本移除了该选项（注：仅针对EDU版本来说，其他版本咱也没用过，咱也不敢瞎说）

CoppeliaSim Edu版本：
V-REP PRO EDU

版本信息如下：

Vision Sensor对话框选项详细说明

Enable all vision sensors：打开和关闭所有Vision Sensor功能
Explicit handling：指示是否应显式处理传感器。如果选中此选项，则仅当调用sim.handleVisionSensor（sim.handle_all）或sim.handleVisionSensor（sim.handle_all）或sim.handleVisionSensor（visionSensorHandle）时，才会处理传感器。如果用户希望在子脚本中而不是在主脚本中处理传感器，这将很有用（如果未选中，则在主脚本中调用sim.handleVisionSensor（sim.handle_all_except_explicit）时，传感器将被处理两次，并且在子脚本中调用sim.handleVisionSensor（visionSensorHandle）时一次。另请参阅有关显式和非显式调用的部分
External input：外部输入，选择后，视觉传感器的正常操作将被更改，从而能够处理外部图像（例如视频图像）
Perspective mode：允许在透视投影类型和正交投影类型视觉传感器之间进行选择
Ignore RGB info (faster)：如果选中该选项，则将忽略传感器的RGB信息（即颜色），以便其更快地运行。如果仅依赖传感器的深度信息，请使用此选项
Ignore depth info (faster)：如果选择此选项，则传感器的深度信息将被忽略，从而可以更快地运行。如果您不想使用传感器的深度信息，请使用此选项
Packet1 is blank (faster)：如果选中，则CoppeliaSim不会自动从获取的图像中提取特定信息，因此可以更快地运行。如果您不打算使用API函数sim.readVisionSensor或sim.handleVisionSensor返回的第一个辅助值数据包，请使用此选项
Use local lights：如果启用，则在显示该视觉传感器的图像内容时，仅激活与该视觉传感器关联的局部光源（即，内置在此视觉传感器之上）。Lights可以在灯光属性中本地化。
Show fog if enabled：如果禁用，则启用雾后此视觉传感器将看不到任何雾
Render mode（渲染模式）
- OpenGL (default)：渲染对象的可见颜色通道，默认选项
- OpenGL, auxiliary channels：渲染对象的辅助颜色通道。辅助通道红色，绿色和蓝色应按以下方式使用：红色是温度通道（环境温度为0.5），绿色是用户定义的通道，蓝色是活动的发光器通道
- OpenGL, color coded handles：通过将对象的句柄编码为颜色来渲染对象。sim.readVisionSensor或sim.handleVisionSensor API函数返回的第一个数据包代表检测到的对象句柄（将值四舍五入）
- POV-Ray：使用POV-Ray插件渲染图像，从而允许阴影（也包括柔和阴影）和材质效果（慢得多）
- External renderer：使用通过插件实现的外部渲染器
- External renderer, windowed：使用通过插件实现的外部渲染器，并在外部窗口中显示图像（仅在模拟过程中）
- OpenGL3：使用OpenGL3渲染器插件，由Stephen James提供。该插件提供了CoppeliaSim中本来无法实现的阴影投射。可以通过对象的扩展字符串（例如openGL3 {lightProjection {nearPlane {0.1} farPlane {10} orthoSize {8} bias {0.001} normalBias {0.005} shadowTextureSize {2048}}）针对每种光调整光投射和阴影
- OpenGL3, windowed：与上面相同，但带窗口
Near / far clipping plane：传感器将能够检测到的最小/最大距离
Perspective angle：当传感器处于透视模式时，检测体积的最大打开角度
Orthographic size：传感器不在透视模式下时检测体积的最大尺寸（沿x或y）

剩下的就是获取数据了，调个API后可以做图像处理了。

参考文献：

官方文档
https://blog.csdn.net/banzhuan133/article/details/85837998
https://www.cnblogs.com/21207-iHome/p/7120497.html
https://www.cnblogs.com/21207-iHome/p/7115487.html
https://blog.csdn.net/xiaokai1999/article/details/105358100/
https://blog.csdn.net/qq_29945727/article/details/98469621
https://www.coppeliarobotics.com/previousVersions

V-REP笔记：视觉传感器的使用相关推荐

像素测量工具_结构光视觉传感器的标定方式和测量原理
击上方"新机器视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达结构光视觉的优点: 非接触.信息量大.测精度高.抗干扰能力强. 结构 ...
无人驾驶技术入门（五）| 没有视觉传感器，还谈什么无人驾驶？
上一次的分享里,我介绍了GPS+IMU这组黄金搭档,这两个传感器的组合能够实现城区道路自动驾驶的稳定定位功能,解决了第一个大问题"我"在哪的问题. 为了能让无人车能像人一样,遇到障 ...
「知识点分享」结构光式激光视觉传感器的焊缝跟踪系统
焊缝跟踪系统一般指的是弧焊焊缝跟踪系统.在焊接过程中,首先应该使电弧与焊缝对中,这是保证焊接质量的关键.焊缝自动跟踪系统是指自动焊接生产过程中,当电弧偏离焊缝时,及时而准确地将电弧调整回到焊缝位置这样 ...
自动驾驶环境感知——视觉传感器技术
文章目录 1. 摄像头的成像原理 1.1 单目视觉传感器的硬件结构 1.2 单目视觉的成像原理 –小孔成像模型 1.3 单目视觉的成像原理 – 像素坐标系 1.4 单目视觉三维坐标系转换 – 外参 1 ...
视觉传感器：3D感知算法
作者丨巫婆塔里的工程师@知乎来源丨https://zhuanlan.zhihu.com/p/426569335 编辑丨一点人工一点智能 1 前言之前的一篇文章介绍了基于视觉传感器的2D环境感知, ...
三维视觉传感器的类型
三角法测量原理视觉传感器的坐标系统单一摄像机二维传感器点结构光视觉传感器线结构光视觉传感器条纹结构光视觉传感器条纹编码三维视觉传感器彩色编码视觉传感器被动双目视觉传感器编码照明双目视 ...
工业机器人工具中心点标定的意义_新品发布 | 倍加福新推VOS智能视觉传感器，为机器人添一双“慧眼”...
作为工业传感器领域的创新先驱者,倍加福始终致力于科技创新,为用户带来更为完善的产品线及更具优势的解决方案.此次,倍加福全新推出VOS智能视觉传感器,此类高度集成化的微小型机器视觉系统,将图像的采集.处 ...
DFRobot智能视觉传感器二哈识图(Huskylens)的应用
二哈识图(HuskyLens)是国内著名开源硬件商DFRobot在人工智能领域出品的一款简单易用的智能视觉传感器.其板载的UART / I2C端口,可以与主流控制器Arduino.micro:bit. ...
matlab 光平面标定代码,线结构光视觉传感器/线激光深度传感器标定工具（matlab）...
线结构光视觉传感器/线激光深度传感器标定工具(matlab) 发布时间:2018-03-13 17:32, 浏览次数:655 , 标签: matlab 线结构光视觉系统有着结构简单.使用灵活.受周围光 ...

V-REP笔记：视觉传感器的使用

文章目录