[摘要]空中机器人被广泛部署，但无人机仍然无法进入茂密森林等高度杂乱的环境，无人机群更是如此。在这些情况下，以前未知的环境和狭窄的走廊加上群体协调的要求可能会带来挑战。为了在野外实现群体导航，我们开发了带有轨迹规划器的微型但完全自主的无人机，该轨迹规划器可以根据机载传感器的有限信息及时准确地运行。规划问题满足包括飞行效率、避障和机器人间碰撞避免、动力学可行性、群体协调等各种任务要求，从而实现可扩展的规划器。此外，所提出的规划器基于时空联合优化对轨迹形状进行变形并同步调整时间分配。因此，即使在最受限的环境中，也可以在几毫秒内彻底利用解决方案空间后获得高质量的轨迹。规划器最终集成到开发的手掌大小的群体平台中，具有板载感知、定位和控制功能。基准比较验证了规划器在轨迹质量和计算时间方面的卓越性能。各种真实世界的现场实验证明了我们系统的可扩展性。我们的方法在三个方面发展了空中机器人技术：杂乱环境导航的能力、对不同任务要求的可扩展性，以及在没有外部设施的情况下作为一个群体进行协调。

1.引言

提出的系统解决方案

结果：

野外编队导航

密集的机间避碰评估

具有目标遮挡的多无人机跟踪

比较

实现方法

系统架构

轨迹表示

从单机到集群

编队期望

多视图跟踪和视频

动态避障

定位和漂移校正

分级安全保障

手掌大小的无人机硬件

补充材料

第s1节。相互避碰的额外比较

第s2节。可扩展性评估

第s3节。定位漂移校正的评估

第s4节。

第s10节。关于通信的更多讨论

1.引言

科幻电影将多机器人空中系统描述为未来技术的象征。在普罗米修斯 (2012) 中，宇航员在决定走哪条路径之前释放几个微型机载装置来探索未知的外星飞船。在《安德的游戏》（2013 年）中，成群结队的无人机包围着宇宙飞船，形成一道抵御外星人攻击的屏障，随后为人类打赢这场战斗扫清了道路。在《星球大战 3》（2005 年）和《银翼杀手 2049》（2017 年）中，摩天大楼之间熙熙攘攘、秩序井然的空中交通在高科技星球上很常见。这些影片中的蜂群导航和协调能力吸引并启发了众多研究人员。在这里，我们向这样的未来迈进了一步（电影 1）。

随着计算、传感和通信领域的最新发展，四旋翼飞行器等空中机器人以非凡的多功能性进入了人类生活，从精确任务到激进任务 (1)，而且价格低廉。 Nikkei 报道 (2) DJI 的 Mavic Air 2 是最畅销的无人机之一，具有避障、跟踪和 10 公里通信距离，其组件仅价值约 135 美元。此外，无人机在市场上仍有丰富的可能性，预计到 2028 年价值将达到 5000 亿美元 (3)。

对于单无人机导航，敏捷的多旋翼控制系统得到了很好的发展 (4)。此外，使用视觉惯性里程计 (5, 6) 的精确定位已经成熟，它已经建立了一个可靠且有效的概率映射感知系统 (7)。为了避免碰撞和其他安全要求，提出了从基于反应（如（8）所示）到基于规划（9、10）的各种方法。这样的发展预示着以前只能在科幻小说中想象的野外空中蜂群的黎明。

尽管单无人机自主导航在工业 (11, 12) 和学术实践 (13, 14) 方面都得到了积极的发展，但空中蜂群系统很少能达到可比的性能。在开发具有自主性的单个无人机的基础上，我们在这里解决了如何在杂乱的野外环境中自主导航空中蜂群的基本问题，从而提高了蜂群在各种现实世界任务中的适用性。这些任务包括以下内容：(i) 提供救灾。在地震和洪水等自然灾害中，成群的无人机可以搜索、引导并向被困人员运送应急物资 (15)。例如，在野火中 (16)，敏捷的多轴飞行器可以从前线的近距离视野中快速收集信息，而不会有人员受伤的风险。 (ii) 协助生物学研究 (17)。由于减小了无人机的尺寸和重量，研究人员可以在没有人与人直接接触的情况下检查密闭区域，从而最大限度地减少生态足迹。 (iii) 密集的空中交通系统或为登陆火星的漫游者和无人机准备部署的交通工具。在这些场景中，运输机在密集的建筑物之间随机飞行。因此，外部和车辆间的碰撞避免都是至关重要的 (18)。 (iv) 协同运输。当有效载荷重量超过单架无人机的能力时，需要多无人机编队飞行 [19]。

上述任务的常用要求可以分为四个方面（轨迹优化，可扩展性，经济计算和微型尺寸）。轨道优化指示任务质量和飞行时间。一个与最佳性有关的轨迹规划者不会停留在可行的解决方案上，而是继续在所有解决方案中寻找几乎最佳的轨迹。这种效率在紧急情况和救援情景中尤为重要，在这种情况下，时间至关重要。可扩展性是指可用应用程序的多样性，因此系统必须与各种任务特定目标兼容。经济计算也很重要，它允许更小的嵌入式计算机，减少对环境变化和突发事件的反应时间（20），并为其他用户定义的任务（如对象检测和决策）保留尽可能多的可用计算资源。最后，所有这些能力都应放在最小的集装箱中，因为重量和体积与飞行时间和可接受的狭窄空间直接相关。

不幸的是，同时实现这四个方面是内部矛盾的。更高的最优性主要来自复杂的建模和解决方案空间中的更多迭代或试验，所有这些都是以增加计算时间为代价的。更高的可扩展性要求以更一般的形式定义问题，以牺牲潜在的特定于问题的优化来提高最优性和减少计算时间。然后，在最优性和可扩展性之间，随着各种用户定义的目标被强加，问题变得越来越复杂，这使得找到解决方案变得具有挑战性。仅满足安全性和可行性等一些基本要求，同时最大限度地减少空中蜂群的时间和最大限度地提高平滑度已经是一个难题 (21, 22, 23)，更难在微型平台上同时实现。这就是为什么以前的研究无法从结构化的人造环境迈出一步到不可预见的野外。

在现实世界中，已经部署了各种空中蜂群，包括由 Intel (24)、High Great (25) 和 CollMot (26) 展示的令人印象深刻的巨大无人机灯光秀。然而，在大规模成功商业应用的背后，全球导航卫星系统定位的蜂群只是按照预先编程的轨迹运行，因此无法在不可预见的有障碍物的地方运行。在 (27–29) 中提出了自主户外空中植绒，其中无人机使用简单的反应规则（例如势场 (PF) 方法）根据其他人的状态实时调整它们的运动。然而，在飞行过程中缺乏最优性考虑导致行动不够连贯。这种不一致进一步导致远邻距离 [(29) 中报告的平均 >10 m] 是安全所必需的，因此在杂乱的环境中不适用。此外，尽管它们成功地模仿了大群鸟类的行为，但准确地操作每个个体是困难的，因为参数与特定的部署场景和邻居状态紧密相关。为了在密集障碍物的情况下实现快速安全的集体运动，Soria 等人。 (30) 将模型预测控制纳入 PF。然而，更高的性能是以繁重的计算和缺乏大群规模可扩展性的集中式组织为代价的 (30)。除了导航算法，上述解决方案 (27-30) 仍然依赖于全局定位和已知环境，这阻碍了它们在野外的应用。相比之下，McGuire 等人。 (8) 通过提出使用光流进行定位和使用激光测距传感器进行障碍物检测的反应群梯度错误算法 (SGBA) 来减轻这两个要求。 SGBA 非常轻巧，同时将所有传感、决策和控制集成到一个 30 克的 CrazyFlie (31) 中，但该属性是以低效率和可扩展性为代价的，因此更适合结构化场所和简单任务（从家中传播并返回家中）。硬件平台限制的定位不准确和单点障碍物感知进一步加剧了这种限制。图 1B 给出了 (29, 8, 30) 的定性比较。 Loianno 等人首先发布了在微型群体平台上使用单个相机和惯性测量单元 (IMU) 进行精确自定位。（32），但只展示了稀疏已知环境中的一些轨迹规划，而且蜂群没有进入野外。此外，他们工作中纯粹基于视觉惯性里程计 (VIO) 的定位可能会在远程飞行中漂移。为了使群体在密集环境中更加高效和稳健，我们之前的工作 EGO-Swarm (33, 34) 提出了一种基于优化的方法。部署在森林中的空中蜂群的全栈导航解决方案很少见。我们之前工作的一个局限性是可扩展性的潜力缺乏可靠的验证，因为我们只使用了三架无人机。此外，规划器无法调整时间配置文件，这偶尔会产生不太理想甚至不安全的轨迹。这些缺陷仍然使杂乱无章的野外空中蜂群成为一个未解决的问题。

观察大自然如何应对这一导航挑战，两种主流方法激发了机器人研究人员的灵感。昆虫执行短期反应动作，而鸟类更喜欢相对长期的平稳动作 (35)。这是因为与昆虫相比，鸟类具有更敏锐的视觉和运动感、更高自由度的运动系统以及更大的脑容量 (35, 36)。这两种方法也启发了文献中的两种主流无人机导航方法：用于基于反应的应用的昆虫和用于轨迹规划方法的鸟类。在这两种方法中，前一种方法在计算和内存方面包含极其轻量级和高效的解决方案，允许更轻的无人机，而后者显示出更高的优化性和灵活性。因此，为了在现场环境中实现更高的任务效率和可扩展性，我们选择后一种方法。在这里，我们通过结合轨迹优化的时空优化技术和在可扩展性的目标追逐框架下将轨迹规划制定为多目标优化来解决这个 TEEM 矛盾。此外，上述两个特征的结合使得收敛速度更快，从而保证了经济的计算，这使得微型平台成为可能。

提出的系统解决方案

在调查了各种应用之后，我们发现 TEEM 的关键是轨迹规划，它不仅会改变轨迹形状，还会调整时间剖面，以穷尽解决方案空间并挤压无人机的能力。如果仅进行空间变形（33、37），与“基准比较”部分相比，无人机在通过狭窄通道时往往会绕行等待其他人，这会阻碍后面的无人机并导致劣质甚至不安全的轨迹。所以，同时规划轨迹的形状和时间剖面，也称为时空轨迹规划，对于安全高效的无人机飞行至关重要。尽管如此，这种联合优化对于多旋翼飞行器来说是一个历史性的难题，因为一起决定轨迹的空间和时间参数是高度耦合的 (38, 39)，例如，计算时间最优轨迹需要大约 40 分钟(1).在所提出的方法中，我们通过在目标函数计算中解耦空间和时间参数并实现优化变量和表示轨迹的中间变量之间的线性复杂度映射来实现实时时空优化。

在轨迹规划框架下，生成轨迹的特定任务要求始终可以表述为要达到的目标；多个目标，例如更短的飞行时间、更高的平滑度以及接近给定路径；和约束，例如避免碰撞和动态可行性。对于第一个要求，我们在目标追逐方案下构建我们的规划器，它不断接收用户的目标并不断追逐最新的目标。对于第二个和第三个要求，它们之间的非凸性使得优化问题难以求解。为了实现高兼容性，我们采用约束转录方法（40），将所有目标和约束转换为加权惩罚。具体来说，来自约束的惩罚被赋予比其他目标高几个数量级的权重。请注意，这里的术语“目标”和“约束”指的是任务要求，而“惩罚”是它们形成最终成本函数的相关数学公式。然后，利用稀疏参数优化和约束转录的标准求解器可以快速解决轨迹规划问题。为了简化情况，我们提供了使用预先制定的通用惩罚 (GPP) 直观地添加特定于任务的目标和约束的详细示例。 GPP 包括时间最小化、平滑度最大化、碰撞避免和动态可行性，在材料和方法中定义。该轨迹规划框架如图 2D 所示。

除了建议的轨迹规划外，我们采用在每架无人机上独立运行的视觉惯性里程计来进行空中蜂群定位。然而，累积里程计漂移可能会导致无人机在持续报告时发生碰撞，保持安全距离，因此我们通过最小化机载超宽带（UWB）传感器测量的相对距离误差来开发分散式漂移校正算法。

如图 2（A 和 B）所示，每架无人机都配备了完整的感知、定位、规划和控制功能，并通过共享轨迹的广播网络松散耦合。巧合但合理的是，所提出的系统类似于能够在森林中自由飞行同时避开障碍物和其他移动生物的鸟类。例如，在短程导航中，鸟类主要依靠眼睛和它们的前庭系统 (41)，因此我们开发了改进的视觉惯性里程计。此外，鸟类同时调整路径和速度以避免碰撞，同时考虑飞行时间和平滑度以节省能量（35），因此我们提出了具有多个目标的时空轨迹联合优化。除了小鸟的能力，我们进一步利用我们的电动人工系统的优势，其特点是高保真无线通信用于轨迹共享和高速计算用于快速规划。此外，我们的解决方案自然满足了涉及个体和群体智能的分散协调，从而提高了稳健性。正如 Murphy (42) 指出的那样，弱集中、分布式的蜂群组织表现出更高的鲁棒性和弹性，甚至可以在通信和全球定位系统 (GPS) 数据丢失时保持行动。

我们提出了一种多功能的多机器人导航解决方案，允许用户结合各种特定于任务的要求，并实时产生局部时空最佳运动。所提出的解决方案体现在只有一个大小的无人机上，并通过非结构化环境中的多个演示进行验证，如结果中详述。我们已经发布了加速空中蜂群研究所需的软件和硬件，开发人员可以部署和使用它们来从模拟和现场环境中验证他们的算法，所有这些都基于我们的平台。

结果：

拟议规划器的质量在实际飞行和模拟中进行评估。在真实世界的实验中，我们提出了四个概念验证但具有挑战性的应用程序，每个应用程序都在我们的系统解决方案的基础上进行了修改，以验证不同方面的性能和潜力。在模拟中，使用各种最先进的空中蜂群规划器对几种常见指标进行了定量评估。

该实验旨在展示在高密度野外（即竹林）中完全自主的群体导航，而不会伤害自己或植物。在本实验中，惩罚函数仅包含 GPP，目标设置在森林外 65 m 的前方。图 3I 中的路径揭示了轨迹规划的一个显着优势：规划的轨迹总是直接平滑地将一个间隙连接到下一个间隙。与基于反应的方法相比，无人机总是直接在障碍物前面或击中其他无人机之前显示出明显且不平滑的转弯模式 (8)。

从照片中可以看出，两个竹子之间的可用空间宽度可能不到30厘米，因此只允许微型无人机通过。更严重的是，这些狭窄的间隙进一步限制了解决方案的空间，特别是对于左侧和右侧都有邻居的无人机。当只有一个可用间隙可供多个无人机一起通过时，限制就变得更加严格。为了实现安全性和效率，一些天真的手工策略，如改变高度以避免碰撞，由于冲洗干扰和能量浪费，是不可取的。在这种情况下，我们的时空轨迹规划器通过调整时间配置文件以允许多架无人机仅平滑地改变必要的速度然后通过队列中的间隙，隐含地找到一般问题公式中的解决方案，与手工制定的规则相比，从规划者的角度来看，这会产生更低的成本。可以在补充材料的 S4 节中找到对该程序的定量分析。

除了密集的垂直生长的竹子外，还有其他各种障碍物，包括倾斜的竹子、树干、低矮的灌木、杂草丛生的沟渠、不平的地面、风吹的树叶挡住了相机（图 3，A 到 H），需要在三个方面规划轨迹方面。这种由形状不规则且分布密集的障碍物组成的非结构化环境验证了在大多数杂乱的地方（例如灾难场景）的导航能力，更不用说在常规的人造世界中了。这个实验的视频是电影2。

野外编队导航

该实验通过向GPPs添加编队惩罚来证明所提出的统一轨迹规划的可扩展性。编队飞行广泛用于无人机灯光表演，并已在合作运输中进行了演示 (43,32)，但是所有这些演示都是在空或手动控制的环境中呈现的。拟议的系统将地层带入了以前未知的野生环境。在这里，地层被定义为保持优选的移动形状，这意味着无人机以固定的相对位置平移。同时，每架无人机也可以独立地对抗障碍物。编队惩罚是维持编队所需位置的调节项。与 “穿越茂密森林” 部分相比，该实验中的障碍物密度降低，以使地层易于区分，但如电影3所示，直立的灌木丛，低矮的树木和两根人造铁柱仍然存在。

按照计划的轨迹，蜂群在保持编队状态的同时飞过树林。从图4 (A和D) 中的变形曲线和速度曲线，我们得出结论，尽管有时无人机必须偏离以避开先前的未知障碍物，然后收集速度以赶上编队，但蜂群仍保持编队。请注意，在时间戳12和25 s时，随着无人机避开树木，平均速度会自动降低，而当它们完全回到开放空间时，平均速度会增加。在这种情况下，某些个体的速度变化会传播到整个地层，而无需明确的预编程。这种现象显示了安全和飞行时间之间的隐性平衡，其中障碍物附近的减速为潜在碰撞预留了更多的反应时间，并且尽可能加速会减少飞行时间。这个实验的视频是电影3。

密集的机间避碰评估

与其他测试不同，在其他测试中，无人机沿着相似的方向移动并且避开其他无人机的动作并不明显，图5中所示的实验证明了在密闭空间中的随机方向飞行，因此最大化了避免机器人间碰撞的必要性。此设置模仿了摩天大楼中密集空中交通的最基本要求: 安全，高效和单独导航。为了验证10架无人机的这种能力，将3米半径圆上的目标随机分配给已经达到先前目标的无人机。仅采用轨迹规划中的基本gpp。除了在飞行区域有一个厚厚的树干和一个安装在相机上的三脚架外，为了更好地模仿飞行过程中更真实的情况，我们逐渐放置长方体和圆柱形障碍物来模仿新建的建筑物，作为大型移动障碍物穿过该区域，保持和移动无人机作为自然干扰。接下来，我们关闭所有地面定位锚 (仅在本实验中使用)，以模仿全球定位的损失。

由于安全和效率是运输系统的两个主要问题，因此我们评估了3分钟飞行期间的最小碰撞距离和已完成交付的总数 (达到的目标总数)。如图5D所示，在整个飞行过程中，每个无人机都被建模为半径为7厘米的球体。尽管发生了不可预测的事件，他们仍设法与障碍物和其他无人机保持安全距离。随着时间的增加，达到的目标数量呈线性增加。因此，由于计划轨迹的局部最优性，在不同障碍物密度下实现了近恒定的传输速率。这个实验的视频是电影4。

图5。评估具有意外事件的密集相互避免碰撞。(A) 飞行到随机给定的目标并在飞行过程中添加障碍物的概述。(B) 顶部图片显示无人机避开其他无人机和障碍物。底部图片显示了一系列记录机器人间避免碰撞的快照。(C) 从左到右的照片显示，研究人员在整个飞行过程中增加了障碍物，干扰了无人机并关闭了全球定位锚。(D) 每架无人机与其他无人机的最小相对距离。实线记录最小值的下限，该最小值是所有代理之间的最接近距离。碰撞距离等于无人机直径。在整个飞行过程中保证安全。(E) 3分钟飞行期间的轨迹。(F) 达到的目标数目。蓝色条表示添加新障碍物时的时隙; 红色条表示全局本地化锚关闭。请注意，(A) 和 (B) 至 (F) 属于两个不同的航班。

具有目标遮挡的多无人机跟踪

该实验证明了在所提出的具有额外用户定义目标的微型平台上添加高数据负载硬件并运行计算成本更高的软件的潜力。群跟踪可用于最近引起人们兴趣的多视图航拍和视频拍摄 (44,45)，它们可以对参与者进行全面记录，并为后期编辑提供更多材料。为了跟踪和记录，无人机配备了额外的RGB (红-绿-蓝) 摄像机，不仅可以捕获生动的视频，还可以作为代表性的 “高数据负载” 硬件，同时运行视频压缩、数据存储和对象检测，以验证平台在计算昂贵的任务中的可扩展性。在我们的实验中，重点是在树林中移动的人类参与者。为了赶上人类，同时避开障碍物和其他无人机，我们与GPPs一起设计了跟踪惩罚，以计划所需的轨迹。

此外，多无人机跟踪提高了对遮挡的鲁棒性，如图6D所示，因为可以通过通信由多个无人机获取物体位置。无人机将尝试从自身和他人接收并融合尽可能多的观察结果，以提高遮挡阻力。从图6中的结果来看，人类可以向前移动，而不必担心无人机碰撞或失去目标。这个实验的视频是电影5。

图6.考虑目标遮挡的多无人机跟踪。(A) 使用四架配备RGB摄像机的无人机进行跟踪，这些无人机运行计算昂贵的任务，包括视频压缩和神经网络。四架无人机的轨迹。具有黑色边缘的菱形是四个时间戳的无人机位置。(C) 摄像机视图中目标分布的热图。黄色区域表示更频繁的目标出现。(D) 时间序列表明系统对目标闭塞的抵抗力。

比较

我们将所提出的方法与两个最先进的计划者进行了比较，即MADER (37) 和我们以前的工作EGO-Swarm (444)。这两个规划者都属于无人机群的分散、异步轨迹规划方法的范畴。在这里，MADER展示了令人印象深刻的避免碰撞的密集放置的静态和动态障碍。此外，自我群体在野外得到了验证，EGO-Swarm是一种复杂度较低的系统解决方案。该模拟平台是一台个人计算机，具有4.8 GHz的Intel Core i7 10700K CPU (中央处理器) 和3200 MHz的24 GB RAM (随机存取存储器)，在该计算机上，无人机以独立线程并行运行，以保持与现实世界的一致性，分散的系统架构。

图7A给出了两种具有挑战性的情况下的计划轨迹的可视化，即以2 m/s的速度飞行通过狭窄的门和富障碍物的区域。缺乏时间轨迹优化的负面影响表明，MADER和EGO-Swarm都会绕道而行，以等待后来的无人机等待其先验。拟议的规划器显示了最平滑的轨迹，因为无人机可以调整时间曲线以实现空间碰撞避免。

实现方法

系统架构

遵循单对群方法，自然构建了一个分散的方案，其中每个无人机都配备了完全的自主权，以实现最大的导航质量。系统架构如图2B所示。轨迹广播网络是个人之间的唯一连接。因此，该系统与先前的工作444) 中的耦合较少，这需要稳定的链连接。映射模块基于显示鲁棒性和效率的概率映射 (7)。无人机移除模块将深度移除其他目击无人机的像素，以免干扰地图绘制。基于VIO的定位模块以及所提出的漂移校正算法可计算六自由度无人机状态。控制器模块命令无人机精确跟踪计划的轨迹。生成高质量轨迹的规划模块是实现TEEM的核心，因此在 “动态避障” 部分的 “轨迹表示” 和补充材料中进一步详细说明。硬件模块在 “掌上型无人机硬件” 部分介绍。无人机移除模块，以其他无人机的轨迹确定三维边界框为信任区域，详见《补充资料》第S8节。

轨迹表示

在这里，使用新开发的名为MINCO (最小控制) (56) 的轨迹表示来实现时空轨迹规划，该轨迹表示设计用于差分平坦系统 (如多飞行器 (4))。MINCO最先进的方面是，它为用户解耦了轨迹的空间和时间参数，在该轨迹上设计了线性复杂性操作，以方便地进行时空变形。最小分段轨迹的参数是 (i) 每件的持续时间T ∈ sm和 (ii) 每对连接的件之间的相邻航路点q ∈ 3 × M-1，其中M是件号。然后，通过操作M定义MINCO轨迹上时间t的三维点p(t) ∈ p3

根据 (56) 中的 “最优性条件” 部分，对于s积分器链动力学 (在本工作中s = 3)，MINCO轨迹默认为2s − 1度C s − 1多项式，具有常数给定 {q，T} 的边界和最小控制努力。它的控制努力优化由下式给出

从单机到集群

蜂群飞行进一步要求个体之间不发生碰撞。在实际使用中，我们假设带宽有限的无线通信可用于机器人。因此，紧凑MINCO的参数在无线网络中广播。通过了解邻居的轨迹，计划者可以在短期 (通常是几秒钟) 内的任何时间戳准确地评估群体分布和相对速度。这个持续时间对于安全来说是足够的，因为无人机总是在当前的轨迹结束之前重新规划新的轨迹。相互避免也被表述为惩罚Jw，当两架无人机太近时，它会产生很高的成本。因此，对于包含U无人机的群中的第U个无人机，Jw定义为

其中up(ti) 和kp( $\tau$ ) 分别是uth和kth无人机的轨迹。ti和 $\tau$ 之间的偏移量将它们对齐到相同的全局时间。C w，名为swarm clearance，是两架无人机之间的最小安全间隙。c> 1的矩阵E pardiag (1,1，1/c) 将欧几里得距离转换为椭圆形距离，短轴在z轴，以减轻转子的下洗风险。接下来，优化问题保持不受约束，因此可以有效地解决。

编队期望

编队定义为局部框架F中的固定顶点，该框架相对于世界框架移动和旋转。为了保持编队状态，每个分配有顶点的无人机都会根据从他人的轨迹计算出的他人的运动来规划其轨迹。当接收到长期目标后开始飞行时，要求编队严格沿直线l移动，连接当前位置和目标。F的x轴平行于l。然后，通过用当前群分布拟合地层形状来确定框架原点。该编队推断可以在不久的将来检索到编队位置，这为每个无人机提供了用于轨迹规划的引导路径g(t)。然后，将编队惩罚Jf定义为

多视图跟踪和视频

为了在避开障碍物的同时记录参与者，RGB 相机必须指向参与者，深度相机必须指向无人机飞行方向。为了避开障碍物，我们将深度相机与无人机速度方向对齐。因此，调整深度相机视图的约束定义为 (i) 将轨迹速度 p ̇ (t) 与预测的参与者速度 vp 对齐，这给出

为了让参与者在图片中保持适当的大小，我们（ii）在参与者框架 S 中强制执行首选无人机的位置 S P prf ，这给出

其中 T S 是将 S P prf 转换为世界坐标系的转换矩阵。结合以上部分直接给出多视图跟踪惩罚。

其中 vJv 和 pJv 直接相加，原因与方程式相同。 10. 在我们的实验中，我们使用恒速模型来预测参与者的运动。

来自通过 CSI（相机串行接口）连接的 RGB 相机的视频使用由 OpenCV（60）实现的 JPEG（联合摄影专家组）标准（59）压缩并存储在流中。目标检测依赖于 YOLOv5 (61) 神经网络，模型深度倍数设置为 0.33，层通道倍数设置为 0.50，此外还有其他默认参数。它使用 NVIDIA TensorRT (62) 进行加速。所有上述软件都需要大量的计算资源和高带宽输入输出。使用先前已知的物体高度来估计物体相机框架上的 z 轴，并通过卡尔曼滤波器 (63) 进一步过滤其全局位置。

动态避障

从分散轨迹规划的角度来看，具有预测轨迹的动态障碍物的处理方式与其他移动无人机相同。因此，避开动态障碍物仍然遵循“从单一到群体”部分中提出的公式，除了根据障碍物形状和体积不同的 E 和 C w 值。在“Swarm playground”部分，使用标准的自行车模型来模拟和预测动态障碍物的运动。

定位和漂移校正

对于总是需要高精度和鲁棒性的现实世界的实现，我们使用 VIO 来准确地获得精确和高频的状态估计。然而，在没有外部定位设施的情况下，累积漂移是不可避免的，这可能会导致机器人在远程紧凑型飞行中发生碰撞。为了分别估计和校正定位漂移，我们利用彼此的相对距离测量以及根据接收到的轨迹计算出的位置。相对距离由 (64) 中也采用的机载 UWB 传感器测量。对于包含 U 无人机的集群中的第 uth 无人机，它到位置 pk 处第 k 无人机的距离测量为 ru, k，然后我们将总距离测量误差最小化

获取第 uth 无人机的位置 pu，其中 pu0 是最后一次漂移估计校正的最新里程计。请注意，为 pu0 添加正则化项以避免非唯一或不稳定的解决方案，例如，当 U = 2 时，整个球面满足最小化。使用数值优化解决问题，并且 pu0 也被用作初始值。为了在提高精度的同时进一步平滑里程计，我们估计缓慢变化的漂移并对其应用低通滤波器，而不是直接使用优化后的 pu。然后将漂移添加到 VIO 的最新里程计中，以产生正确的定位。

此外，具有真实位置的固定设施也可以纳入优化，以确保全局一致性，如“机间避碰评估”部分所述。请注意，全局框架最初要求大致一致；否则，非线性优化缺乏可靠的初始化。除了提高定位精度之外，这种方法几乎不会带来额外的通信负担，因为其他无人机位置是根据轨迹计算的，并且 UWB 与轨迹广播网络共享不同的无线电频率。在我们的系统解决方案中，我们使用 VINS（视觉惯性导航系统）(5) 作为 VIO 和 Ceres 求解器 (65) 进行优化。补充材料中介绍了我们真实世界实验的有效性评估和相应的框图。

分级安全保障

因为安全约束被转移到惩罚，求解器的输出轨迹仍然是不可行的，所以需要轨迹规划后的后检查。如果违反了安全约束，则规划器会增加其权重，然后进行另一次尝试以提高找到满意解决方案的可能性。如果经过多次尝试仍然不可行，则终止当前规划，规划器等待 10 毫秒，然后再激活下一次重新规划。然而，每次规划后的事后检查只能保证那个时间点的可行性，因为地图在变化，所以安全检查过程会在后台不断检查碰撞。一旦检测到不安全，该过程会立即激活重新规划。如果此试验失败，并且预测的碰撞时间低于阈值，则会生成紧急停止轨迹。停止后，计划再次尝试启动。这样的回退保证了最严重情况下的安全，并在之后恢复了任务。

手掌大小的无人机硬件

所有实验都在我们设计、组装和发布 (66) 的 114 毫米轴距微平台上进行，硬件列表在此处。该平台的总重量不到 300 克，包括提供 11 分钟飞行时间的 100 克电池。无人机由以下五个子系统组成，如图2A所示。

1) 动力和运动套件。串联两节容量为3000mAh、电压为7.4V的锂聚合物电池，采用四台6000kv无刷电机（型号1404）3英寸三叶螺旋桨，推重比2.4。使用最大电流为 15A 的四合一电子速度控制器。螺旋桨安装在机身底部，因此强大的下洗流不会直接吹到机身上。根据我们的实验，这样的设计提高了飞行时间，悬停时的平均功耗约为 120 W。

2）低级控制单元。构建了一个尺寸为 16 毫米 x 32 毫米 x 8 毫米的纳米级飞行控制单元 (FCU)，运行 PX4 自动驾驶仪 (67)。遵循PX4标准的硬件由一个STM32 H7 MCU（68）和一个BMI088 IMU（69）组成，带有一个用于日志记录的8GB存储卡。在这里，我们省略了除 IMU 之外的所有传感器，因为我们使用 VIO 运行定位，而不是依赖气压计、磁力计或 GPS。该单元负责低级角度控制，并将 IMU 数据发送至高级导航单元。

3) 高级导航单元。该单元运行所有定位、规划、高级控制和其他特定于任务的代码，因此需要足够的计算性能。在我们的平台中，我们使用 NVIDIA Xavier NX (70)，这是一款用于嵌入式和边缘系统的强大计算机，具有六核 CPU、384 核 GPU 和8 GB 内存。在我们的实验中，除了多视图视频之外，CPU 和 GPU 的使用率都低于 40%，这为额外的潜在使用留出了可观的计算储备。

4) 传感器。我们解决了基本的传感器设置问题，以在保持高精度的同时缩小无人机的尺寸。我们使用灰度和深度相机 Intel Realsense D430 (71, 72) 和来自 FCU 的 IMU。 D430 相机输出用于映射的深度图像和用于定位的立体灰度图像。 UWB 模块是一个 Nooploop LTPS（73），内部有一个 DW1000 无线电芯片（74）。

5）无线通信模块。我们测试并实现了两种拓扑结构：(i) 使用单接入点 TP-LINK TL-XVR6000L 路由器和 EDIMAX EW-7822UCL (75) USB WiFi 适配器的星形和 (ii) 分散式点对点通过 PCIe（外围组件接口快速）接口使用 AzureWave AW-CB375NF (76) 的对等点对点网络。第一个结构显示更高的带宽，而第二个结构更适合补充材料中评估的大群规模。

补充材料

第s1节。相互避碰的额外比较

表s1。额外的性能比较。在位置交换配置下，在包含8个半径为0.25 m的主体的8x8m空空间中执行比较。最大速度和加速度分别设置为1.7 m/s和6 m/s2。分钟。清除。表示离碰撞的最小距离。平滑度是根据平方加点的时间积分计算的 | | j | | 2 2dt。时间和距离的单位分别是秒和米。

除EGO (444) 和MADER (37) 外，我们将提出的计划者与其他两个集中式离线群计划者 (SCP (49) 和RBP (50)) 进行了比较。结果见表s1。粗体术语表示相应类别 (在线/离线) 中的更好值，而带下划线的术语表示所有计划者中的最佳值。如表S1所示，SCP在牺牲轨迹安全性的情况下实现了更短的飞行时间。RBP以相对较长的飞行时间为代价实现更平稳的飞行。两者都无法平衡轨迹质量的各个方面。与离线方法相比，这三个在线计划者显示出更多的平衡，同时需要减少几个数量级的计算。其中，MADER更为保守，因为它的安全性是通过最小体积封闭简化来确保的。所有数据都是从10次随机运行中记录的。

第s2节。可扩展性评估

时间和空间复杂性

在现实世界的使用中，更大的群体总是意味着更强大的团队，以实现更广泛的勘探覆盖，可能的运输负荷以及对机器人故障的更高鲁棒性，以及其他优势。然而，传统的基于优化的轨迹规划遭受与机器人数量相关的高计算复杂度的困扰，如Park等人 (50) 所述，其时间复杂度为O(n3)。因此，Park等人不得不将整个蜂群分成群体，然后按顺序规划轨迹，这只在有限的程度上缓解了复杂性。

由于分散的体系结构和适当的问题表述，我们的时间复杂度从统计数据显着降低到与无人机数量近似线性。由于计算时间的基线很短，因此在突破实时底线之前，蜂群大小可以增加到数百个机器人。同时，空间复杂性与无人机数量完全成线性关系，因为一架无人机仅存储其他无人机的最新轨迹。实际上，可以忽略这种空间使用，因为一个轨迹的大小通常低于1 kB，并且系统内存中有几gb。

如果每个无人机仅考虑附近的单元，则可以进一步降低复杂性 (20)，因为我们仅在有限的距离内执行连续规划。在我们的工作中，我们忽略了无人机彼此相距两倍以上的计划距离 (见表S6)。所得到的复杂度低于O(n)，并且由如图s1中的无人机分布的密度确定。这样的复杂度允许在打破实时阈值之前将群扩展到大尺寸。

图s1。计算效率的可伸缩性。该图提供了图s15所示的三个群体分布下不同无人机数量的计算时间。

无线通信质量

通信容量会受到环境信号干扰，连接拓扑结构和无人机分布的影响。为了控制信号干扰，我们在一个安静的公园里进行这个实验，无人机悬停，UWBs打开。然后，在此测试一下中，我们比较了两种拓扑结构，即具有一个接入点的集中式网络和使用Palm-Sized无人机硬件部分中描述的硬件的对等自组织网络。此外，测试了图S2A中所示的从紧到松的各种分布。采用两种广泛使用的指标，带宽和延迟来评估网络容量。由于我们编写了可靠的网络通信软件来保证数据到达，因此不评估丢包率 (等于0% 或100%)。在达到250时延阈值之前，所有无人机一起将带宽Bw量化到最高轨迹 (每个175字节) 广播频率。延迟TL以轨迹广播速率的5Hz记录。

为了无碰撞，在集中式网络中，每架无人机都必须保持与接入点 (AP) 的直接连接，因此我们记录了所有无人机中最差的值。相比之下，对于ad hoc网络，每个无人机直接连接到其他无人机。此外，当两架无人机彼此之间的距离超过规划范围的两倍时，它们之间的碰撞惩罚始终为零，并且自然可以保证免于碰撞。因此，对于自组织网络，我们仅评估相对距离低于规划范围两倍 (本实验为15 m) 的每对无人机之间的数据。

从图S2B中的结果来看，集中式网络在紧密编队中表现更好，而ad hoc网络在编队松散时表现出更好的通信质量。从整体的角度来看，当处于松散分布时，ad hoc网络随无人机数量的扩展更好，而当无人机数量较小时，集中式网络提供更高的带宽; 因此，这两个网络在一定程度上是互补的。从理论上讲，作为对等网络，ad hoc网络创建的连接遵循密集结构中的阶乘复杂性，而在这种情况下，集中式网络仅遵循线性复杂性。因此，开发人员必须根据任务特性选择适当的网络拓扑或采用两种类型。拟议的无人机平台支持这两个网络。

图s2。通信质量的可伸缩性。(A) 三种群体分布。(B) 三种群分布下两种拓扑的网络质量。

第s3节。定位漂移校正的评估

在野外的剖面编队导航中从实验中记录的数据在图s3中给出。所需的开始形状和目标形状是2 × 5个间隔为1米的无人机矩形。与经过校正后的定位，无人机在55米的飞行后设法保持了形状，尽管它们在起始点没有精确对准偏航。相比之下，图S3和S13示出了估计的漂移的大小，其达到大约3 m。在这种显著的漂移下，如果不进行校正，地层将遭受严重的形状变形和相互碰撞。但是，由于没有诸如GPS数据之类的全局信息可用，因此必须存在整个团队的累积错误。这就是为什么我们在截面密集的相互避免评估中添加一些固定锚的原因。综上所述，本文验证了所提出的修正方法的必要性和有效性。框图如图s14所示。

图s3。定位漂移校正。细线和粗线分别是修正前后的轨迹；前者显示出明显的漂移，如果不加以纠正，可能会破坏地层。(B) 无人机的定位漂移0。更多的无人机如图s13所示。

第s4节。

通过门测试一下的定量分析为了进一步分析规划器性能，用图s4中可视化的一些代表性数据再次进行部分基准比较中的通过门测试一下。在四个子图中，B和C是相互约束的。这意味着，对于较短的飞行时间，这些无人机必须在2 m/s的最大速度下尽可能快地飞行，同时它们还必须改变速度以保持相对距离。然后，对于前方的无人机，可以增加速度以减少飞行时间，同时扩大相对距离，但速度有限。对于留下的无人机，尽可能少地降低速度以保持与前方的无人机的最短相对距离是最佳策略。以上正是在图S4B和C中实现的，其中无人机设法以允许的最大速度和最小相对距离飞越闸门。更重要的是，从图S4D中，我们可以得出结论，无人机沿着最短的轨迹飞行而不会绕道或浪费能量。

第s10节。关于通信的更多讨论

沟通的要求是特定于任务的。在穿越茂密森林的实验中，起飞前目标位置已写入配置文件。然后，轨迹24是唯一要传输的消息类型，用于避免机器人间碰撞和相对定位校正。在这种情况下，通信范围必须至少是规划距离的两倍，因为间距比该阈值更近的无人机在规划轨迹时会相互影响。如果它们的距离超过此阈值，则它们肯定会在未来的短时间内无碰撞，而不会有任何回避动作。受益于无线通信技术的发展，大多数解决方案 (例如WiFi，UWB和Zigbee) 已经实现了数十米的通信范围。

在编队飞行任务中，除了相互回避之外，无人机必须根据从接收到的轨迹中提取的其他无人机的实时位置动态地维持编队。这要求每个无人机至少保持一个与其他无人机的连接，并且整个编队与无线连接密不可分。然后采用一些多跳和路由协议，轨迹消息可以到达所有其他无人机。在野外实验编队导航中，编队规模相对紧凑，因此消息直接在整个群体中共享。

在实验密集的相互回避评估中，轨迹传输要求与飞越茂密森林的要求相同。但是，此实验中的目标是由地面计算机实时给出的。因此，从地面计算机到每架无人机的连接是必要的。此外，地面计算机可以像我们的实验一样直接连接，也可以通过无线路由连接。

在具有目标遮挡的多无人机跟踪实验中，每架无人机将其自己的观察结果与从网络接收的其他观察结果相结合。因此，更多的共享意味着对遮挡的鲁棒性更高。如果没有其他人的观察，无人机仍然可以跟踪目标，但是在遇到明显的遮挡时可能会失去目标。因此，在此任务中很难确定通信范围的确切阈值。在我们的实验中，我们在所有无人机之间共享观察结果。

关于通信带宽，在10架无人机的竹林实验中，一条轨迹的大小约为170字节。对于竹林中的65米飞行，每架无人机发送了大约100条轨迹，接收了1000条轨迹。包含发送和接收信息的数据速率 (带宽) 约为2 kB/s，峰值时达到8 kB/s。这些是WiFi网络的次要值，它始终提供每秒几兆字节 (MBps) 的数据速率。统计数据列于表S4和表s5。

[论文笔记]Swarm of micro flying robots in the wild相关推荐

论文笔记-Optimized flocking of autonomous drones in confined environments
文章目录个人总结摘要 Introduction Flocking model instantiation through evolutionary optimization Scalability ...
光流速度_[论文笔记] FlowNet 光流估计
[论文笔记] FlowNet: Learning Optical Flow with Convolutional Networks 说在前面个人心得: 1. CNN的光流估计主要是速度上快,之后的v ...
论文笔记（十六）：Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning
Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning 文章概括摘要 1 介绍 2 大规模并 ...
论文笔记（八）：360 VR Based Robot Teleoperation Interface for Virtual Tour
360 VR Based Robot Teleoperation Interface for Virtual Tour 文章概括摘要 1. 介绍 2. 方法和系统设计 2.1 系统结构 2.2 远程 ...
【论文笔记】Encoding cloth manipulations using a graph of states and transitions
[论文笔记]Encoding cloth manipulations using a graph of states and transitions Abstract 问题: Cloth manipu ...
论文笔记（七）：ROS Reality: A Virtual Reality Framework Using Consumer-Grade Hardware for ROS-Enabled Robot
ROS Reality: A Virtual Reality Framework Using Consumer-Grade Hardware for ROS-Enabled Robots 文章概括摘 ...
【论文笔记】ASYMMETRIC SELF-PLAY FOR AUTOMATIC GOAL DISCOVERY IN ROBOTIC MANIPULATION
[论文笔记]ASYMMETRIC SELF-PLAY FOR AUTOMATIC GOAL DISCOVERY IN ROBOTIC MANIPULATION ABSTRACT [主要工作]用一个单一 ...
ORB-SLAM3 论文笔记
ORB-SLAM3 论文笔记这篇博客 ORB-SLAM3系统相机模型的抽象(Camera Model) 重定位的问题图片矫正的问题视觉惯性SLAM的工作原理相关公式 IMU初始化跟踪和建图 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...

[论文笔记]Swarm of micro flying robots in the wild

1.引言

提出的系统解决方案

结果：

野外编队导航

密集的机间避碰评估

具有目标遮挡的多无人机跟踪

比较

实现方法

系统架构

轨迹表示

从单机到集群

编队期望

多视图跟踪和视频

动态避障

定位和漂移校正

分级安全保障

手掌大小的无人机硬件

补充材料

第s1节。相互避碰的额外比较

第s2节。可扩展性评估

第s3节。定位漂移校正的评估

第s4节。

第s10节。关于通信的更多讨论

[论文笔记]Swarm of micro flying robots in the wild相关推荐

最新文章

热门文章