原文:Work in progress – Light field rendering in VR
作者:Joan Charmant,现任OTOY软件工程师
译者:孙薇
审校:唐小引(@唐门教主),欢迎技术投稿、约稿,给文章纠错,请发送邮件tangxy@
本文讲述了我的第二个光场渲染引擎的相关进展情况,前一个光场渲染引擎在去年10月时就在视频“光场渲染器的实现”中有所描述,其原理部分基于 Aaron Isaksen 的论文《动态光场再参量化》(Dynamically Reparameterized Light Fields):从源图片中甄选出目标图片,再经过投影变换在 CPU 中合成视图,之后通过桌面窗口来展示结果,详情可参见视频。
范围
对第二个引擎来说,项目范围如下:
在 GPU 中合成视图,并通过 VR 技术来呈现:
具体是在 CUDA(Compute Unified Device Architecture,统一计算设备架构)中实现,并输出到 Oculus Rift(DK2,安装 Oculus Runtime 0.8)。尽管在前一个项目中,我侥幸用了30到50毫秒来渲染 sub-HD 图片,不过 VR 需求的分辨率更高,且要求渲染时间(双眼)不能超过10毫秒。
成像质量与计划使用光束的最佳配比:
我尝试通过计划范围内的光束群来获得最佳的成像质量,根据设定:在实验阶段的光束数量计划为 1亿道(100 Megarays)。这个数量的光束群算是中等规模的:Lytro Illum 物理光场相机使用了 4000 万道光束(40 Megarays),而我之前的另一个项目使用的某个样本是 9亿道光束(900 Megarays)。对于全方位应用来说,经常会遇到数十亿束光线所组成的光场。需要注意的是:在视频的样例中,光束数量不足3亿;目前我尚未找到1亿光线所能达成的满意视图质量。
限定景深范围内的特写镜头:
我一直在关注浅景深特写的问题。
Demo 请点击这里查看(需科学上网)。
在视频中有一些重要的东西没能体现出来,有些好有些不好。
分辨率:视频所展示的应用镜像窗口比在 VR 中实际投射的视图分辨率要低得多(参见下面的性能描述)。
尺寸与深度:在视频中完全没能展示出来,但在实际 VR 展示中,对象的尺寸与物质性都很不错。在 VR 中,对人体头部的渲染结果正如真人的头部大小。
恐怖谷理论(注1):质量已经很接近了,但事实上还是达不到。因此整个效果看起来还是更像有景深的照片而不是真人。无论急促的呼吸,还是水晶闪烁的动态循环画面都还有很大的改善空间。
视觉调整失败:在 VR 世界中,由于位置追踪的存在,视线对人像头部有很好地锁定,因此质量是有可信度的。当人脸逐渐接近镜头时,大脑会对图像有一个预期的增加度。本来在逐渐接近时,双眼会尝试重新逐步调整焦点,但由于分辨率是由源数据集决定的,这会让人有奇怪的感觉,似乎视觉调整失效了。之前我没有体验过这种感觉。
数据集细节
女性头部
3亿道光束原始模型是768K 的多边形,8K 材质。捕获:1000 个样本/像素的路径跟踪。
水晶
3亿道光束捕获:4000 个样本/像素的路径跟踪。由于水晶内层有很多折射面反射/折射光线,高光深度为48。
两个光场都是由Octane 3.0 渲染器的 alpha 测试版,通过定制 Lua 脚本捕获。
性能
渲染视图达到 2364×2927 的分辨率,这个数字达到我使用的 Oculus DK2 像素密度的2倍,然后图像会根据 DK2 1920×1080 分辨率的屏幕进行调整。可以很好地运行在 GTX 980Ti 显卡上。
此外这个视图还能插入并传输到低分辨率的镜像窗口,就在之前对 Oculus 的 compositor 发布渲染时曾执行过这个步骤。
显然关于渲染光场最有趣的部分是渲染时间独立于场景复杂性之外,这就是为什么我关注的案例都是很难或几乎不可能实时渲染的原因。女性脸庞是超过 750K 的多边形,使用复杂材料以及 8K 材质,而水晶则对光线路径及焦散线特别提出了挑战(很不幸在我使用的设置中,这些并非真正不可见的),只能使用光线路径来渲染。
应用
在视频中的应用名叫 Hypercapsule,名称的后半部分是因为它吸收了 Capsule 的部分理念(在这篇文章中有所描述),能在 Oculus DK2 中渲染全方位立体视觉图像。而名称的前半部分 “Hyper” 则是由于在实现的核心部分使用了 4D 意识。
目前我还不打算发布这个应用,之后它会发展成为更大型的应用。
注1 恐怖谷理论:是关于人类对机器人和非人类物体的感觉的假设:由于机器人与人类在外表、动作上相似,所以人类亦会对机器人产生正面的情感;直到一个特定程度,他们的反应便会突然变得极为负面。哪怕机器人与人类只有一点点的差别,都会显得非常显眼刺目,让整个机器人显得非常僵硬恐怖,使人有面对行尸走肉的感觉。可是,当机器人的和人类的相似度继续上升,相当于普通人之间的相似度的时候,人类对他们的情感反应会再度回到正面,产生人类与人类之间的移情作用。
第一时间掌握最新移动开发相关信息和技术,请关注mobilehub公众微信号(ID: mobilehub)。
由CSDN重磅打造的中国云计算技术大会(CCTC )将于5月13日-15日在北京举办,大会特设“中国Spark技术峰会”、“Container技术峰会”、“OpenStack技术峰会”、“大数据核心技术与应用实战峰会”等四大技术主题峰会,以及“云计算核心技术架构”、“云计算平台构建与实践”等专场技术论坛。80+位一线互联网公司的技术专家将到场分享他们在云计算、大数据领域的技术实践,目前大会剩票不多,欲购从速。详情请点击CCTC 大会官网。