张春成

V2

2022/07/30阅读:13主题:默认主题

借助深度估计的点云场景重建

借助深度估计的点云场景重建

所谓身怀利器,X心自起。

当你手上有 GPU 服务器的时候,总会想用它来弄点东西。

这次的东西就是借助深度估计网络的点云生成的尝试。


二维照片与三维世界

对于一个场景来说,我们总能对它拍一张图片。

但是拍摄这个行为本身,往往会使它缺失一些信息,这个信息就是场景的深度。

深度估计网络

本文使用了预训练的 transformers[1] 网络。

Untitled
Untitled

点云应用

在获取深度之后,只要沿着深度方向,将二维图像中的颜色信息还原到三维场景中就可以了,过程十分的简单。

代码可见我的 GITHUB[2]

Example-1
Example-1

Example-1

Example-2
Example-2

Example-2

Snipaste_2022-07-30_19-43-49.png
Snipaste_2022-07-30_19-43-49.png
Snipaste_2022-07-30_19-40-05.png
Snipaste_2022-07-30_19-40-05.png
Snipaste_2022-07-30_19-11-11.png
Snipaste_2022-07-30_19-11-11.png
Snipaste_2022-07-30_19-09-31.png
Snipaste_2022-07-30_19-09-31.png
Snipaste_2022-07-30_19-15-50.png
Snipaste_2022-07-30_19-15-50.png

参考资料

[1]

transformers: https://github.com/huggingface/transformers

[2]

GITHUB: https://github.com/listenzcc/2DPic-to-3DScene

分类:

后端

标签:

后端

作者介绍

张春成
V2