3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品( 二 )


这种现象其实在许多3D GAN中都存在,比如GIRAFFE、StyleNeRF。
比如在下面这个案例中,初始单角度图像的刘海是偏左的,但是生成的不同角度图像中,刘海会随着视角的变化而变化,就像是镜像一样。

3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品
文章插图

出现这样的问题,是因为NeRF网络输入的坐标就有存在镜像对称。

3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品
文章插图

比如图中a、c两点的坐标就是完全镜像对称的关系。
这对于生成完全对称的物体而言没什么问题。
但是放在只给侧面角度的人像上来说,可能就是一场灾难。
为此,研究人员在神经网络中添加了一个鉴别器(discriminator),让它来辅助鉴别这种问题。
最后结果表明,与其他可生成3D人像的方法相比,FID、KID值明显降低,这两个值越低意味着生成图像质量越好。

3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品
文章插图

团队介绍值得一提的是,该论文通讯作者为田奇。

3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品
文章插图

2010-2015年于美国伊利诺伊大学香槟分校新加坡高等研究院担任研究科学家。
发表文章约550余篇,包括250+ IEEE TPAMI、IJCV、CVPR/ICCV/ECCV、NeurIPS等国际顶级期刊和会议。
2018年加入华为云,研究主要方向为计算机视觉、自然语言处理和语音交互。
华为谢凌曦博士、上海交通大学倪冰冰教授也参与了此次研究。
谢凌曦,本科博士均毕业于清华大学计算机专业,专长计算机视觉、自动机器学习。目前为华为高级研究员。

3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品
文章插图

倪冰冰,现为上海交通大学电子系特别研究员/长聘教轨副教授,博士生导师。
本科毕业于上海交通大学电子工程系,之后赴新加坡国立大学攻读博士。
博士期间,先后在微软亚洲研究院和谷歌公司美国总部工作,担任算法科学家。
2010-2015年于美国伊利诺伊大学香槟分校新加坡高等研究院担任研究科学家。
研究方向为计算机视觉、机器学习等。

3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品
文章插图

本项研究已经由论文一作Peng Zhou(上海交通大学)上传至其GitHub主页,感兴趣的童鞋可以前去围观~

3d|古典人像秒变3D,视角还能随意切,华为&上交联手出品
文章插图

论文地址:

https://arxiv.org/abs/2110.09788GitHub地址:

https://github.com/PeterouZh/CIPS-3D— 完 —
量子位 QbitAI · 头条号签约

推荐阅读