House-GAN: Relational Generative Adversarial Networks for Graph-constrained House Layout Generation

摘要
- 关键词
简介
布局问题相关
- 数据集
- 评估指标
- 假设
House-GAN模型
- 房间布局生成器
- 房屋布局判别器：
实验评估结果

摘要

图1：House-GAN是基于关系生成对抗网络的新型图约束房屋布局生成器。气泡图作为输入自动生成多个房屋布局选项。

本文提出了一种新的图约束生成对抗网络，其生成器和判别器建立在关系架构上。主要思想是将约束编码进关系网络的图结构中。作者证明了针对新房屋布局生成问题提议的架构，任务主要是将架构约束作为一张图（即具有空间关系的房间的数量和类型）并生成一组轴对齐的房间的边界框。作者使用三个指标衡量了生成的房屋布局的质量：真实性、多样性和输入图（气泡图）约束的兼容性。作者对117000多张真实平面图进行了定性和定量的评估。结果显示，所提出的方法优于现有方法和基准。作者最终公开所有代码和数据。

关键词

GAN、图约束、布局、生成、平面图

简介

图2：使用House-GAN进行平面布置图设计工作流。系统的输入是一个气泡图，它编码了高级体系结构约束。House-GAN学习在气泡图约束下生成一系列逼真的房屋布局。建筑师将布局转换为真实的平面图。

房屋设计是一个昂贵且费时的迭代过程。一个标准的工作流是：
1、绘制“气泡图”以说明房间的数量及他们的类型和连接关系。 
2、指定相应的平面图，收集顾客反馈。
 3、恢复到气泡图进行细化。
  4、迭代上面的步骤。

在预算和时间有限的情况下，建筑师及其客户经常需要在设计质量上做出妥协。因此，在建筑，结构和房地产行业中，对自动平面布置图生成技术的需求巨大，并且潜力巨大。

House-GAN：
输入：气泡图（其中结点使用房间类型对房间编码，边使用房间的空间相邻性进行编码） 
输出：现实且兼容的房屋布局（轴向对齐的边界框）

房屋布局带来了新的挑战：要把照片强制转换为约束。 作者提出了一个新的模型House-GAN，它具有一个关系生成器和一个判别器，这样约束可以被编码进它们的关系神经网络中的图像结构。而且作者使用卷积信息传递神经网络（Conv-MPN）而不是GCNs，因为：
1、结点将表示为一个房间的特征向量（而不是一维潜向量）
2、卷积更新设计空间中的特征（而不是多层感知器） ，该体系结构能够更有效地进行高阶推理，以构成布局并验证邻接约束。

布局问题相关

数据集

LIFULL HOME包含了500万张实际平面图，从中选取了117587张，统一缩放到256*256。由于该数据集不包含气泡图，作者使用了平面图向量化算法（floorplan vectorization algorithm），来生成向量图形式，并转换为气泡图。气泡图是一张图，节点是一个以房间类型为属性的房间。如果边界框之间的曼哈顿距离小于8像素，就连接两个房间。输出的房间布局是轴对齐的边界框。

表1：表格第一行是五个组的划分，第二行是各个组的样本数，剩下的展示了房间的平均数（左）和每个房间连接的边的平均数（右）。

评估指标

作者按照房间数将样本分为五组。为了测试生成器的能力，做了k（5）折验证：当在一个组中生成布局时，作者利用除这一组中的样本训练一个模型是的一个方法不会简单地被记忆。
在测试时，随机选择房屋布局并生成X个样本。X = 10用于测量真实性和多样性，X = 1用于测量兼容性，其评估在计算上是昂贵的。 
1、真实性：四个等级，更好、更差、同样好、同样差。
 2、多样性：通过FID分数和栅格化的布局图像进行测量的。
 通过以下方法对布局进行栅格化：
 1）将背景设置为白色；
 2）按区域的降序对房间进行排序；
 3）根据房间类型（例如，卧室为橙色）为每个房间涂上颜色，如图3所示。 
 3、气泡图的兼容性：是一个输入气泡图和从输出布局构造的气泡图之间的图形编辑距离，其编辑方式与上述GT准备相同。

假设

相对于现实的设计过程，作者简化了问题设置：
1、一个结点属性不包含房间大小。
2、房间形状是长方形。
3、边缘属性（即房间邻接）不能反映门的存在。
这是解决问题的第一步，这些扩展是未来的工作。

House-GAN模型

图4：给出了关系房屋布局生成器（上）和判别器（下）。ConvMPN是模型的骨干架构，输入图的约束被编码到它们的关系网络的图结构中。

House-GAN是一个关系生成对抗网络。关键在于关系生成器和鉴别器，其中输入图约束被编码到关系网络的图结构中。特别的是，作者采用了Conv-MPN，它与GCN的不同之处在于，节点在设计空间中存储了特征量并且卷积更新了特征（与一维潜向量空间相对）。

房间布局生成器

生成器获取每个房间的噪声向量和气泡图。然后以一个轴对齐的矩形来表示生成房屋的布局。气泡图中结点为带有类型属性的房间，边缘表示空间邻接关系。更具体地说，应该为每个房间生成一个矩形，并且两个相连的房间必须在空间上相邻（马哈顿距离小于8个像素）。

1、输入图像：
给定一个气泡图，形成Conv-MPN，其关系图结构与气泡图相同。为每个房间生成一个节点，并使用从正态分布中采样的128维噪声向量进行初始化，并与10维房间类型向量tr（单次热编码）连接，r是房间索引。结果是138维的向量gr。

Conv-MPN将特征存储成一个3D张量到输出设计空间中。应用了一个共享的线性层把gr扩展为了一个8*8*16的特征量：
l=1表示该特征适用于第一个Conv-MPN模块，该模块将被上采样两次，以在稍后成为一个（32×32×16）的特征量。

2、Conv-MPN/上采样：
Conv-MPN模块通过卷积消息传递来更新房间的特征量的图。更准确地说，通过以下方式更新特征量：
1）在图中连接的各个房间之间级联一个汇总池特征；
2）在未连接的房间之间级联一个汇总池特征；
3）应用CNN：

不带上划线的N(r)表示连接的房间，带上划线的表示不连接的房间。使用转置卷积（内核= 4，步幅= 2，填充= 1）将特征上采样2倍，同时保持通道数。生成器具有两轮Conv-MPN和上采样，使最终特征量的大小为（32×32×16）。

3、输出布局：
共享的三层CNN将特征量转换为大小为（32×32×1）的房间分割掩膜。分割掩膜的图将在训练过程中传递给判别器。在测试时，房间掩膜（tanh函数的输出范围为[-1，1]）的阈值设置为0.0，为每个房间拟合最紧密的轴对齐矩形，以生成房屋布局。

房屋布局判别器：

判别器以相反的顺序执行上面的操作，输入是来自生成器（在矩形拟合之前）的结果或实际的平面图（前景为1.0，背景为-1.0）的房间分割掩膜。
分割掩膜的大小为32×32×1。为了关联房间类型信息，采用10维房间类型向量，应用线性层以扩展到8192维，然后重塑为（32×32×8 ）张量，该张量连接到分割掩膜。共享的三层CNN会将特征转换为大小（32×32×16），然后进行两轮Conv-MPN和下采样。下采样时每次通过卷积层（内核= 3，步幅= 2，填充= 1）减少2倍。最后，使用三层CNN将房间特征转换为128维向量。最后对所有房间向量求和池化，并添加单个线性层以输出标量d，分类出生成的样本中的真实样本。
作者使用WGAN-GP损失，将梯度罚分设置为10。作者按照Gulrajani等人的建议计算梯度罚分：在真实样本和生成的样本之间，以像素方式线性均匀地内插空间分割掩膜，同时固定关系图结构。

表2：House-GAN体系规范。“s”和“p”表示步幅和填充。“x”，“z”和“t”表示房间mask，噪声向量和房间类型向量。“conv-mpn”层在所有情况下都具有相同的体系结构。卷积核和层尺寸指定为（N in×N out×W×H）和（W×H×C）。

实验评估结果

表3：主要的定量评估。真实性是通过与研究生和专业建筑师进行的用户研究来衡量的。多样性由FID分数衡量。兼容性是通过图形编辑距离来衡量的。（↑）和（↓）分别表示较高的指标和较低的指标。作者将HouseGAN与两个基准和两种竞争方法进行了比较。青色，橙色和洋红色分别表示第一，第二和第三最佳结果。

图5：真实性评估。研究生（左）和专业架构师（右）的每对方法的用户研究得分差异。该表应逐行读取。例如，底行显示了GT与其他方法的比较结果。

图6：真实性评估。上图显示了一个由每个输入图的每种方法生成的布局样本。作者的方法（House-GAN）产生了更逼真的布局，其房间排列整齐并在空间上分布。

表4：兼容性评估：从以图表为约束的提议方法开始，一一删除其信息（即房间连通性，房间类型和房间数量）。对于最上面一行，甚至连房间数都没有给出，就不可能在House-GAN中形成关系网络。因此，此基准被实现为CNN-Only，而没有房间类型和连接信息。第二行（仅房间数）被实现为House-GAN，但是删除了房间类型信息并使图表完全连接。同样，第三行（房间数量和类型）被实现为House-GAN，但是图是全连接的。最后一行是House-GAN。

图7：多样性评估：从同一气泡图生成的房屋布局示例。 House-GAN显示了最多的多样性/变异。

图8：兼容性评估。固定噪声向量，并依次将房间节点及其入射边缘相加。

图9：House-GAN在用户研究中的失败和成功示例。建筑师将成功的例子（右）评为“同等好”，而失败的例子（左）则评为“更差”。

图10：矩形拟合之前的原始房间分割（掩膜）输出。

House-GAN 论文阅读相关推荐

GAN论文阅读路线图，更快地通过大量阅读入门GAN
目录 1. NIPS 2016 Tutorial: Generative Adversarial Networks 2. Unsupervised Representation Learning wi ...
Face-Morphing using Generative Adversarial Network(GAN)论文阅读笔记
题目:Face-Morphing using Generative Adversarial Network(GAN) 参考文章:原文地址摘要: 讲解了GAN的基本原理以及利用GAN换脸的原理. 在像 ...
【GAN】二、原始GAN论文详解
写在前面在前面一篇文章:[GAN]一.利用keras实现DCGAN生成手写数字图像中我们利用keras实现了简单的DCGAN,并生成了手写数字图像.程序结果让我们领略了GAN的强大,接下来我们开始一 ...
[论文阅读] (06) 万字详解什么是生成对抗网络GAN？经典论文及案例普及
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
GAN 生成对抗网络论文阅读路线图
路线图按照下面四个准则构建而成: ● 从提纲到细节 ● 从经典到前沿 ● 从通用领域到特定领域 ● 专注于最先进的技术 Generative Adversarial Networks ...
论文阅读——TR-GAN: Topology Ranking GAN with Triplet Loss for Retinal Artery/Vein Classification
论文阅读--TR-GAN: Topology Ranking GAN with Triplet Loss for Retinal Artery/Vein Classification 基于对抗神经网络 ...
学习GAN必须阅读的10篇论文
本文转载自:魔图互联.欢迎访问网站查看详细教程:Tensorflow(pytorch)系列教程生成对抗网络是深度学习中最有趣和最受欢迎的应用之一.本文将列出 10 篇关于 GAN 的论文,这些论文详 ...
必读！TOP10生成对抗网络GAN论文（附链接）
来源:新智元本文约2200字,建议阅读7分钟. 本文所选论文提供了一个易读的对GAN的介绍,帮助你理解GAN技术的基础. [ 导读 ]生成对抗网络 (GAN) 是深度学习中最有趣.最受欢迎的应用之一 ...
[论文阅读] (17)CCS2019 针对PowerShell脚本的轻量级去混淆和语义感知攻击检测（经典）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (11)ACE算法和暗通道先验图像去雾算法（Rizzi | 何恺明老师）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...

House-GAN 论文阅读