Abstract

任务：在杂乱的场景中拾起物体

设计了一种由吸盘和夹具组成的复合机械手，可以稳定地抓取物体。吸盘用于首先从杂物中抬起物体，夹持器用于相应地抓取物体。

利用可见性图(affordance map)为吸盘提供像素级的吸取候选点。为了获得良好的观测图，在系统中引入了主动探索机制。

设计了一种有效的度量方法来计算当前可见性图的奖励，并采用深度Q网络(DQN)引导机械手积极探索环境，直到生成的可见性图适合抓取。

I. INTRODUCTION

带吸盘的机械手非常流行，广泛应用于机器人抓握任务。这是因为吸盘通常结构简单，对许多不同的物体都很坚固。自密封吸盘阵列来大大提高机器人在不确定环境下的抓取能力。

然而，吸盘的工作机制对物体的表面和姿势施加了许多限制。

另外，吸盘的移动方向与力方向之间的不一致使得抓握不稳定并且导致吸盘的工作寿命短。

Zeng提出了通过对整个场景的分析，使用视觉图/可见性图来表示抓取点，大大提高了机器人抓取的精度。

可见性图是一个显示输入图像中每个像素的置信率的图。

然而，由于环境通常是复杂的和非结构化的，有时机器人在视觉图上显示的抓取位置很难掌握。通过积极地探索环境，机器人能够对环境进行一些改变，直到它适合抓取。

当场景中的物体距离太近而不能抓取时，机器人可以主动探索环境，改变物体的位置，直到适合抓取为止。同样地，机器人也可以通过将物体分开来重新排列，来改变它们的位置。

II. RELATED WORK

本文创新点：

1. 设计了一个新型的复合机械臂，包括了吸盘和夹持器。
2. 为了获得一个更好的可见性图，设计了一个基于DQN的积极探索算法。
3. 复合机械臂和积极探索算法相结合，获得了很好的性能表现。

Work	Content	Ad/Disad-vantage
a multifunctional gripper with a retractable mechanism	(1) Switch between suction mode and grasping mode quickly and automatically. (2) Provide a hardware basis for implementing different grasp strategies	doesn’t consider the coupling between the two modes
the Suction Pinching Hand	two underactuated fingers and one extendable and foldable finger whose fingertip has a suction cup mounted on it. (两个动作不足的手指和一个可伸缩和可折叠的手指，其指尖上有一个吸盘)	It can grasp various objects stably by using both the suction and pinching at the same time.

作者设计的机械臂：

1. It has a suction mode and a grasping mode, which can be coupled to work simultaneously and also work separately.（实现了吸盘模式和抓取模式的耦合）
2. The proposed composite robotic hand is able to close its two fingers to push objects in order to actively explore the environment.（可以将手指合并，实现推的基本动作）

III. SYSTEM OVERVIEW

1. 获得该场景的RGB图像和深度图像。
2. 使用ConvNet获得基于输入图像的计算视觉图。
3. 提出了一种度量ΦΦΦ来评估当前提供图的质量。
4. 如果Φ高于一定的阈值，复合机械手将用吸盘进行吸力操作，然后据此抓取物体。
5. 否则，可见性图将被输入DQN，DQN引导复合机械手通过推动前面的物体对环境造成一些干扰。
6. 此过程将被迭代，直到成功拾取环境中的所有对象。

IV. ARCHITECTURE

A. Robotic Hand Structure

复合机械手由两个平行的手指和一个吸盘组成。

这两个手指对称地分布在底座上。每个手指都有一个马达驱动的平行四边形机制，它确保了当手指抓取物体时，两个手指的表面总是平行的。

吸盘系统由一个吸盘、一个推杆、一个气缸、两个气泵、一个微型电机和一个电磁阀组成。吸盘放在两个手指的中间。在复合材料机械手的内外分别配备了两个气泵。内部的一个和微型电机用于控制吸盘，而外部的一个与电磁阀驱动与75毫米范围的推杆。

B. Grasp Process

1. 机械手移动到提升点，当到达提升点时，吸盘将被弹出，以接近物体的表面。
2. 空气泵在吸盘中产生负压，从而使物体被提升。
3. 推杆缩回，在两个手指之间抓住物体。
4. 将手指闭合，以确保抓握的稳定性。
5. 该对象将被释放。
6. 释放物体的过程与吸力的过程相反。

C. Characteristics of Grasp Process

当机械手移动时，手指和吸盘施加的力可以协调起来，保证物体被稳定地抓住。

实验证明，复合机械手能够有效、稳定地抓取不同大小和形状的物体。

V. DEEP Q-NETWORK STRUCTURE

A. Affordance Map

它解决了传统抓取策略中要求在抓取前先识别物体的问题。
然而，不可避免的是，有时很难从所获得的可见性图中区分出较好的抓取点，特别是在场景比较复杂的情况下。

1) Affordance ConvNet

Affordance ConvNet是一个以RGB和深度图像为输入和输出视觉图像的网络，这是一个密集的值从0到1的像素级热图。数值越接近1，提升位置就越好。
为了训练的目的，我们手动标记场景图像，其中适合抓取的区域被标注。

2) Failure cases

1. 当高度或颜色相似的物体彼此接近时，很可能被视为一个单一的物体。
2. 当两个对象部分重叠时，这两个对象可以被视为一个对象。
3. 当物体的姿势过度倾斜时，可能不适合实际操作。

B. Active Exploration

网络结构基于U-Net，表示像素级的动作。

U-Net是最近提出的一种强大的轻量级网络结构，包括下采样和上采样。它在生成像素级语义信息方面具有良好的性能。
为了由于速度的原因而最小化网络的大小，我们将这个结构调整为一个更小的结构，使用一个下采样和上采样，并将RGBD图像的大小调整为四分之一的分辨率。

1) Local patch

因此，我们在网络中提出了一种局部补丁的UNet结构，它可以以更少的步数获得更好的场景，并最小化模型大小，以加快计算速度。

Assuming that in the current state, pMp_{M}pM​ is the most promising picking point with the highest confidence score in the affordance map (pM=arg max⁡{Iaff}p_{M} = \argmax \{I_{aff} \}pM​=argmax{Iaff​}). We crop(收集) the input RGBD image around this corresponding pixel with a size of (128×128)(128 × 128)(128×128) and downsample(下采样) it to a size of (32×32)(32 × 32)(32×32) (32=128÷4)(32 = 128 \div 4)(32=128÷4) before feeding it into our U-Net based network, which greatly reduces the model size.

2) Paralleled tiny U-Net

U-Net能够指示给定图像输入的像素级操作。对于每个动作，它都会在每个位置上输出一个置信度分数。
在本工作中定义了8个具体的动作。机器人可以从8个方向推动物体。
我们使用Oi=i×45°(i=0，...，7)O_{i}=i \times 45 \degree (i=0，...，7)Oi​=i×45°(i=0，...，7)来表示方向，推距离是局部补丁大小的一半。
整个网络包含了8个结构相同的U-Net模块。

U-Net被裁剪为一个很小的一个，只下采样和上采样一次。它对于我们的输入足够好，适合于具有亚像素级操作位置的场景。这样，DQN的动作空间就会减少，以获得更快的学习速度。

C. The metric of affordance map

设计了一种新的度量ΦΦΦ来计算当前提供图的奖励，这对于评估从DQN中获得的每个动作都很有用。

1) Flatness punishment based on Gaussian distribution

最大可见度值出现在有积累或倾斜的区域周围，而在该区域周围的可见度值的分布往往是有方向性的。

检测某一可见点是否是最优的可见点：

1. 抽取实际场景中可见值最大的点
2. 生成以这个点为中心的分布，抽取一些列的点，对应位置的值设置为sijs_{ij}sij​
3. 同样以这个点为中心生成高斯分布，同样抽取一些点，对应位置的值为sij∗s^{\ast}_{ij}sij∗​
4. 设置两个评估指标eije_{ij}eij​和σ\sigmaσ
5. eij=sij∗−sijvMe_{ij} = \frac{s^{\ast}_{ij}-s_{ij}}{v_{M}} eij​=vM​sij∗​−sij​​
6. σ=1mn∑i=0m∑j=0neij2\sigma = \frac{1}{mn} \sqrt{ \sum^{m}_{i=0} \sum^{n}_{j=0} e_{ij}^{2}}σ=mn1​i=0∑m​j=0∑n​eij2​​
7. 当σ\sigmaσ较小时，说明sij∗s^{\ast}_{ij}sij∗​和sijs_{ij}sij​的相对偏差在很小的波动范围内，因此可见度值在该连通区域的分布分布良好。为了评价σ\sigmaσ的可见性图，引入了一个平面度量ΦfΦ_{f}Φf​作为Φf=e−σΦ_{f}=e^{−σ}Φf​=e−σ。

2) Interpeak intervals

计算了最接近最大可见度值的连接区域的边界框，并选择该区域的中心作为一个峰值位置。通过检测在其他小区域比其他点值高的点来找到其他峰值。
最大可见度值点的坐标记为pMp_{M}pM​。边界框lll的长度和宽度www用于表示将被吸取的对象的大小。以kkk作为可见度图中所有其他峰的个数，Pm={p0⋅⋅⋅pk−1}P_{m}=\{p_{0}···p_{k−1} \}Pm​={p0​⋅⋅⋅pk−1​}作为其他峰的坐标集合，定义一个区间度量ΦdΦ_{d}Φd​。
a=w+l2Φd=min⁡{1,∣∣pM−pi∣∣2a}(i=0,1,⋯,k−1)a = \frac{w+l}{2} \\ Φ_{d} = \min\{1,\frac{||p_{M}-p_{i}||_{2}}{a}\} (i=0,1,\cdots,k-1)a=2w+l​Φd​=min{1,a∣∣pM​−pi​∣∣2​​}(i=0,1,⋯,k−1)

3) Maximum affordance

直接来源于ConvNet。

4) Reward design

所以最终的度量ΦΦΦ被定义为上述三个指标的加权和。
Φ=λf×Φf+λd×Φd+λv×vMΦ = \lambda_{f} \times Φ_{f} + \lambda_{d} \times Φ_{d} + \lambda_{v} \times v_{M} Φ=λf​×Φf​+λd​×Φd​+λv​×vM​
其中，三个权值满足：
λf+λd+λv=1→Φ∈[0,1]λ_{f} +λ_{d} +λ_{v} = 1 \rightarrow Φ \in [0,1] λf​+λd​+λv​=1→Φ∈[0,1]
如果，ΦiΦ_{i}Φi​>0.85，则我们认为场景已经足够好地抓取，机器人将停止改变环境。
基于所设计的度量，智能体的目标是最大化这个度量的价值。
如果ΦiΦ_{i}Φi​大于δδδ的最后一帧Φi−1Φ_{i−1}Φi−1​的度量，则奖励为1，否则为-1。
为了减少噪声干扰，我们设置δδδ为0.01。

VI. EXPERIMENT

A. Experiment of DQN Performance in Simulation Environment

the simulation environment: V-REP
11 blocks are added into the scene + manually design several challenging scenes

我们比较了所提出的模型和随机操作模型。在随机操作模型中，不是基于DQN的输出来推送对象，而是应用随机推送动作。

使用三个指标来评估它们的性能。

1. 每次测试的平均操作次数；
2. 每次推送的度量ΦΦΦ的平均增量；
3. 测试成功率，其定义为成功的测试次数除以测试次数；

1) Evaluation result

2) Training details

Item	Value	Meaning
Training Method	RMSPropOtimizer
learning rates	10−310^{−3}10−3 to 2.5×10−42.5×10^{−4}2.5×10−4
the momentum	0.9
γ\gammaγ	0.6	more attention on current epoch
ϵ\epsilonϵ	1 then 0.2	giving allowance for more attempts on new pushing strategies

B. Robotic Experiments

1) Experiment setup

Microsoft’s Kinect V2 camera
the UR5 manipulator

我们选择了40个不同的物体来构建不同的场景，让我们的机械手来抓取。

2) Evaluation metric

因此，我们将测试定义为在同一物体上连续3次提升失败时的失败，而在一个场景中的10个物体成功提升时，我们将测试定义为成功。

在此基础上，我们定义了3个指标。

1. 对象的平均数量成功抓住每个测试
2. 吸成功率，定义为成功的数量成功除以提升操作
3. 测试成功率，定义为成功测试的数量除以测试的数量

3) Experiment result

实验结果表明，经过主动探索优化后，该系统的吸力成功率和试验成功率性能较好。与仅使用静态可见性图进行提升相比，主动探索减少了重复故障提升的可能性，使其对场景更稳健。

当系统只依赖于静态的可见度图来抓取时，它在混乱的场景中很可能会失败。图13为静态视觉图抓取实验结果。

在图14中，机械手主动地探索环境，寻找合适的抓取点。

然而，通过主动勘探优化的可见图仍存在一些问题。有两个主要的问题。

1. 第一个问题是，所提出的度量ΦΦΦ不能区分所有不适合抓取的坏场景。当一个物体没有足够的提升支撑能力时，我们的系统就无法获得这些信息，而这类物体也很难抓取。
2. 第二个问题是，我们的DQN有时会在没有物体的区域输出无用的推动动作。

4) Result analysis

然而，所提出的抓取策略仍然不完美，存在一些无用的推动作，包括在没有任何物体的地方进行推杆，系统不能识别各种不适合抓取的物体。

此外，一些表面不均匀的物体仍然很难用这种策略举起。随着物体被不断地移除，场景将变得越来越简单。因此，该策略逐渐倾向于直接或少推采用静态可见度图，以确保抓取的效率。

VII. CONCLUSION

【论文笔记】Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment相关推荐

1. 每天一篇论文 289/365Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment

   Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment 摘要 本文提出了一种新的机器人 ...

2. 论文笔记——Deep Residual Learning for Image Recognition（论文及相关代码）

   啊先说一些题外话,在刚刚进入深度学习的时候就在知乎上看到关于何恺明大神的phd的传奇经历.大概就是何大牛顶着光环选手的称号进的MSRA,peer的到第1-2年就已经各种论文刷到飞起,但是何大牛到第三年 ...

3. 论文笔记 Hierarchical Reinforcement Learning for Scarce Medical Resource Allocation

   KDD 2021 0 摘要 面对COVID-19的爆发,医疗资源紧缺问题日益突出.因此,迫切需要有效的医疗资源配置策略. 强化学习(RL)对于决策制定很强大,但通过强化学习解决这个问题存在三个关键挑战 ...

4. 强化学习论文分析4---异构网络_强化学习_功率控制《Deep Reinforcement Learning for Multi-Agent....》

   目录 一.文章概述 二.系统目标 三.应用场景 四.算法架构 1.微基站处----DQN 2.宏基站处---Actor-Critic 五.伪代码 六.算法流程图 七.性能表征 1.收敛时间 2.信道总 ...

5. 论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning

   论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning  2017-06-06  21: ...

6. 论文笔记（十六）：Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning

   Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning 文章概括 摘要 1 介绍 2 大规模并 ...

7. Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记

   Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记 arXiv 摘要:本文提出了一种 DRL 算法进行单目标跟踪 ...

8. AutoML论文笔记（十四）Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor

   文章题目:Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmenta ...

9. 【论文笔记】Deep Reinforcement Learning Control of Hand-Eye Coordination with a Software Retina

   目录 Abstract Keywords 1. INTRODUCTION 2. BACKGROUND A. Software Retina B. Deep Reinforcement Learning ...

最新文章

1. Mybatis常见面试题(三)
2. datagrid中巧用loadFilter对数据整形
3. SQL联合查询中的关键语法
4. 1030 Travel Plan (30 分) 【难度: 中 / 知识点: 最短路】
5. MyBatis源码解析（二）——Environment环境
6. 云小课｜想实现资源全自动备份？看完这篇秘籍，不再蕉绿~
7. linux通过iso安装php,linux系统下怎么安装iso文件？
8. python吧_如何自学Python？【python吧】
9. 在Oracle的FORM中对不同的状态采取不同的颜色显示
10. SSH免密码登录，搭建Flink standalone集群
11. 嘿，OCR文字识别了解下！
12. javascript案例10——下拉菜单
13. HMM隐马尔可夫模型详解
14. 静电除尘器工作原理应用实训教学QY-HJGC03
15. word删除页眉线，添加第几页共几页
16. vue3实战项目——网易云App【01-项目准备】
17. php怎么截取中文第一个字符串,php中怎么截取中文字符串
18. VPP使用详解——基于VPP的VLAN配置
19. 电脑突然经常死机？（ubuntu系统如何检查原因）
20. 服务器安装360文档卫士,360文档卫士

热门文章

1. kafka如何选择分区数及kafka性能测试
2. 我要写整个中文互联网界最牛逼的JVM系列教程 | 「JVM与Java体系架构」章节：JVM的发展历程
3. 戴尔笔记本插入耳机用不了耳机的麦克风
4. 古风尚婚纱摄影－－决定
5. 2020/2/23如何高效使用Axure绘制原型图
6. 查看计算机硬件配置方法（包括内存条、显卡型号，卡槽还剩几个）
7. 【论文笔记】图匹配的路径跟随算法
8. 酒店（宾馆）客房管理系统
9. 仓库软件可以管理仓库，这么简单！
10. 华为手机无法安装ADB和HDB的处理