ECCV 2018 | Pixel2Mesh:从单帧RGB图像生成三维网格模型

  • 时间:
  • 浏览:0
  • 来源:神彩UU直播现场_彩神UU直播现场官方

point cloud 是你这人不规则的数据内外部,而且 点之间这么局部连结关系,点云往往不足物体的棘层信息;3D Mesh 同样是你这人不规则的数据内外部,由点、边和面组成,而且 其轻量、内外部细节丰厚等内外部,在虚拟现实、动画游戏、生产制造等实际产业中应用这么广泛,本文研究怎么才能 才能 从单张 RGB 图重建出对应的 3D mesh 模型。

本措施对输入图像进行的三维网格建模的结果:

本文来自云栖社区合作措施伙伴“PaperWeekly”,了解相关信息都可以 关注“PaperWeekly”。

上图(a)中 P 是从输入图片得来的内外部,是顶点的位置,两者组合可得到相应的投影内外部,再与 GCN 的内外部简单合并送入网格形变模块(Mesh Deformation Block)中。整个网络蕴含若干该模块。上图(b)是措施相机参数进行投影的示意图。

原文发布时间为:2018-09-10

本文的目的在于提出你这人生成结果光滑、重建精度高的利用单张彩色图生成物体三维网格模型的措施。本文这么直接采用生成 3D Mesh 的措施,要是采用将一另1个多多多固定的椭球措施图像内外部逐渐形变成目标内外部的策略。本文针对一另1个多多多三维网格重建难点给出了处置方案:

上图是图的上池化过程。(a)中的黑色顶点即为新增的顶点,连接的虚线即为新增的边。这是 Edge-based 的措施,还有你这人 Face-based 的措施,即在每个三角形中心加在一另1个多多多顶点,但这么 会造成网格顶点不均衡的疑问报告 ,如(b)所示。在实际操作中,每个新增的点处于旧三角形的边的中点位置,内外部的值取相邻两顶点的均值。

Figure 1: Pixel2Mesh的架构

损失函数

模型架构

对于 CD 和 EMD,在 ShapeNet 测试集上,本文的措施在多数情况表下都达到了最好水平。

2. 怎么才能 才能 有效地更新网格的内外部—引入图的上池化层。实验发现,直接训练网络使其预测 mesh 的效果不要好。一另1个多多多原因是而且 直接预测较大数量的点的网格,顶点的感受野会有受限,即 mesh 的顶点无法有效地检索邻近顶点的内外部。为了处置你这人 疑问报告 ,本文设计了一另1个多多多图的上池化层(Graph unpooling layer),使得点的数量逐渐由少到多,相应的网格内外部由粗到细,既保留了全局信息,又具有细节的表达。

实验结果

1. 3D Mesh 的表示疑问报告 —引入图卷积神经网络。3D mesh 一般使用非规则数据形式—图(Graph)来表示,而一同整个网络还时需对其输入的规则的图像数据进行内外部抽取。本文使用图卷积网络(GCN)来处置三维网格,使用类似 VGG-16 的网络来提取二维图像内外部。为了将两者联系在一同,设计了一另1个多多多投影层使得网格中的每个节点能对应获取相应的二维图像的内外部。

本文定义了你这人不同的损失函数来有利于网格更好地形变。

CD 和 EMD

此外,本文还定义了几种与 mesh 相关的损失函数捕捉不同级别的内外部,以保证视觉上有吸引力而且 物理上高重建精度。少量实验表明,本文的措施不仅定性都可以 才能生成细节更加充分的 mesh 模型,而且 与当前最好的措施相比也实现了更高的重建精度。

三维数据有多种表示形式,包括 volume、point cloud、mesh 等。volume 是你这人规则的数据内外部,即将物体表示为的 N3 格子,受分辨率和表达能力限制,你这人 表示措施通常不足细节。

本文提出的措施在 ShapeNet 测试数据集上的表现,除了当阈值为时在 watercraft 类低于 PSG,许多指标均达到了最好水平。

本文作者:而且 你更懂AI

Pixel2Mesh 的架构如图 1 所示。对于输入图像,设计一另1个多多多多层的卷积神经网络,用于提取图片不同层次的内外部。对于输出三维网格,设计了 3 个级联的变形模块,由图神经网络构成。Perceptual feature pooling 层可根据网格顶点坐标得到投影的图片内外部,而且 根据此内外部不断对初始的椭球进行变形,以逼近真实内外部。Graph unpooling 层用于增加三维网格节点和边的数量。

该论文由复旦大学、普林斯顿大学、Intel Labs 和腾讯 AI Lab 合作措施完成。文章提出了你这人端到端的淬硬层 学习框架,可从单张彩色图片直接生成三维网格(3D Mesh)。

F-score (%)

Qualitative results. (a) Input image; (b) Volume from 3D-R2N2 [1], converted using Marching Cube [4]; (c) Point cloud from PSG [2], converted using ball pivoting [5]; (d) N3MR[3]; (e) Ours; (f) Ground truth.

受淬硬层 神经网络内外部的限制,后来的措施通常用 volume 而且 point cloud 表示三维内外部,将它们转换为更易于使用的 mesh 不要易事。与现有措施不同,本文使用图卷积神经网络表示 3D mesh,利用从输入图像中提取的内外部逐步对椭球进行变形从而产生正确的几何内外部。本文使用由粗到精的模式进行生成,使得整个变形过程更加稳定。