随着科技进步,社会中开始出现越来越多将实景应用投射到虚拟环境之中的现象,人类试图通过“平行宇宙”辅助现实生活。3D 全景地图就是一个很好的方式,让人们可以做到“身未动,心已远”,提前了解目的地实景情况,以便准确判断陌生环境目的地的正确性。诸如此类的应用已经越来越丰富,甚至连文物保护和修复都已经开始使用实景三维系统。
随着时光悄悄逝去,文物古迹正在风吹雨打中逐渐被泯灭,那么我们应该采用怎样的先进技术手段,在文物古迹受到保护的前提下,让文物实现更长时间地保存,成为人类未来宣传教育、历史见证的“永生物”?
为此,国家文物相关保护协会将希望寄予全息实景三维技术,该技术结合了实景三维和全息投影,实现让研究人员通过安全、可靠、精准的方式,获得大到庞大的古建筑群,小到精致的酒壶杯盏的数据,且不会对文物有任何的损坏。
近期,自然资源部正式印发了《实景三维中国建设技术大纲(版)》,其中提出的建设目标为:根据新时期测绘工作“两服务、两支撑”根本定位,调动各级自然资源主管部门和社会力量,构建“分布存储、逻辑集中、时序更新、共享应用”的实景三维中国,为数字中国建设提供统一的空间基底。可见,GIS 行业开始经历从二维到三维的全面升级,迎来关键上升期。
浙江省某古建筑斗拱实景模型
未来数字世界建设的基础
实际上,实景三维(3D Real Scene)是通过多种技术手段,将现实世界的地理地貌全数据集的采集、分类、加工、展现于一体的技术流程。其旨在建造一个与现实无差别的虚拟世界,实现在任何空间都可以调取和应用的数据,其中业务流程可分为“外业”和“内业”两大部分。
“外业”作为数据采集的主要过程,应用了多种技术,包括卫星、航拍、车载等载体,搭载各种可见光影像设备进行摄影测量,并且形成连续数据集;“内业”则将通过“外业”采集回来的地理数据进行加工将 2D 图像数据转化成 3D 模型,以立体的方式展现地理地貌,并且按照国家坐标系重建一个与现实相同的 3D 图形。
“激光点云”“倾斜摄影”等技术的实现,都是将 2D 影像经过处理成为 3D 立体模型,按照统一坐标系形成真实的“虚拟世界”,与现实世界形成 1:1 镜像关系的结果。
除了上述举例的应用以外,实景三维还大量用在国土资源管理、农林水利、资源矿产、城市规划服务、应急救灾等领域,可谓是现代社会建设的基础组件,成为“新基建”的一部分。
实景三维在数据时代的技术瓶颈
实际上,整个实景三维业务流程中采用了多种技术,而数据处理作为实景三维业务过程中的关键步骤,如果没有这个环节,“外业”所有的成果都不能充分地展现,其重要性可见一斑。
当前,业内部分可分为三层讨论,由上而下分别是业务软件层、业务系统层和数据层。随着应用软件几十年的发展以后,如今应用软件已经非常成熟且强大。诸如 ContextCapture、Smart3D、Skyline 等等,基本可以实现相互通用。
接下来是业务系统层,主要是基于 X86 硬件平台的 Windows 或者 Linux 作为统一汇编语言。从当前的情形来看,国家正在推行国产操作系统,各大厂商也在积极适配,相信未来国产化必定是一个趋势。
最后一层是数据层,它是所有业务的“地基”,其中包含了 IT 的核心三大元件—计算、网络、存储。如果没有这三大法宝,所有目标将化为乌有,“数字孪生城市”就是一句空话。因为所有数据都将在数据层进行加工,是内业生产中真正数据的载体。
实景三维建设技术路线图
目前,计算发展已经从 CPU 时代迈进 GPU 并发时代,在突飞猛进的算力带动下,网络需求也在暴增,背后的原因是数据依靠网络提供计算。如果网络跟不上算力,则容易会出现计算单元“空窗”的现象。故而,如今各个单位的数据中心都在升级业务网络。
虽然通过堆砌硬件的方法能迅速提升算力和网络的性能,但是随之而来是更加严峻的问题——如何让数据存储跟上业务发展的步伐,一旦存储出现了延后的现象,那么无论算力和网络再快都是无用之功。
存储是一个极其复杂的系统,不能像算力和网络一样,依靠堆砌硬件的方式解决问题。同时,因为每一份数据都是极其珍贵的,它们对存储容器的可靠性要求极其严格。一旦存储崩溃,轻则业务中断,延迟交付,重则数据丢失,项目失败。
在业务快速发展的压力下,实景三维所使用的存储从小容量、小并发的通用型存储,逐渐发展成为海量数据、高并发的专业型存储,也从支持十几台计算并发访问的规模,增长为支持几十到几百台计算的高并发存储,数据量也从几十 TB 增长到数百 TB 乃至 PB 级别。它们的差别就好比 U 盘和企业级存储机柜的区别。因此,存储正在成为整体实景三维内业极具代表性的发展瓶颈。
突破存储瓶颈,打通实景三维“最后一公里”
实景三维整体业务架构
随着实景三维对于精细度要求越来越高,地理信息数据量逐渐变得越来越大。比如前文提到的文物古迹展现,8K 的效果几乎能给人一种与实物无差别的体验,但其中所产生的数据也是巨大的。因此,如果存储不能满足并发连接的需求,那么再多的图形工作站也是“巧妇难为无米之炊”。
为此,实景三维对于专业存储第一条要求就出现了,支持多计算单元的连接并发访问。
除此之外,实景三维在生产过程中,数据可靠性是硬性要求,前文提到“存储崩溃”是常见问题,不仅会让数据凭空消失,更会导致企业业务中断,造成巨大损失。例如为期一个月的任务,在运行三周后,临近项目尾声,存储系统突然崩溃,导致所有过程数据都要重新计算,就算再加班加点,在剩余的一周时间内也是无法完成既定任务,直接影响企业声誉,造成不可挽回的后果。
这时,实景三维对存储的第二条要求出现了,可靠性要高,避免出现存储单点问题。
实景三维业务中,大多数“原材料”都是图片,根据采集设备的不同等其他条件,图片的规格大小也不同。同时,在内业生产过程中,由于采用业务软件不同,如 ContextCapture 和 Skyline 运作机制不同,产生的碎片化文件数量也不同。因此,需要存储能够适应海量文件及碎文件管理功能。当前,通用存储在管理混合文件就比较困难,导致出现文件越多,性能就越差的情况。
因此,就出现了实景三维存储的第三条要求,适应混合文件管理能力。
随着实景三维融入社会生活的过程,各行各业都在使用实景三维的成果。目前可以发现,3D 地图、城市服务、能源规划建设等都是常用的工具,并且外业采集数据的速度,要大于内业处理数据的速度,内业效率低直接制约了外业效率。
于是,实景三维存储的第四条要求,存储具备高扩展性,性能和容量并行扩展。
以上四条基本概括了实景三维专业存储的刚性要求、细化分析,以及很多特性。根据上述特性要求,并结合以往的实景三维建设经验和技术积累,焱融科技给大家分享一些我们在过往合作中,如何满足企业上述要求。
YRCloudFile作为泛 HPC 专业存储从产品设计之初就采用并行分布式架构,旨在为企业用户提供高性能产品,并结合应用特性提供文件接口,满足诸如 ContextCapture、Smart3D、Skyline 等应用软件的文件接口要求。目前,在已经落地部署的项目中,最小规模 YRCloudFile 集群可支持600台 GPU 服务器并发访问,是传统存储并发能力的9倍。
YRCloudFile 产品架构图
同时,在扩展存储集群规模后,存储的吞吐能力可以进一步提升。在类似的高性能项目中,仅仅数台 YRCloudFile 可以提供千万级别以上的 IOPS(IOPS 是存储性能衡量单位),百 GB的吞吐带宽。现如今,焱融 YRCloudFile 已经是实景三维行业存储领域的天花板性能级别。
其中,极致的性能正是源于焱融 YRCloudFile 存储的架构设计,其采用了元数据管理和数据分离方式,并且私有客户端的专利技术让实景三维计算单元和焱融 YRCloudFile 之间实现了数据流并行传输,是传统存储通过 NFS/CIFS 等网关通信方式无法比拟的性能,兼容系统包括了 Windows 和 Linux 主流版本,而且已经与 ContextCapture、Smart3D、Skyline 等国内外应用厂商做了深度技术对接。
此处给大家分享一个内部爆料:实际上,每家应用软件厂商在存储数据调度上差别很大,因此基本上需要针对版本进行优化对接,包括空三阶段的“特征点提取”“平差”等数据过程。同样,在建模阶段时,也需要针对性优化设计,例如焱融 YRCloudFile 对接 ContextCapture,使其空三整体效率提升50%,原需要 20 小时完成的任务,缩短至 10 个小时完成。故而焱融 YRCloudFile 称之为实景三维专业存储是实至名归,也是最了解实景三维业务的存储。
上面简要描述了焱融 YRCloudFile 在并发能力和扩展能力上的体现,接下来介绍可靠性和存储根本问题。
焱融 YRCloudFile 采用的分布式架构,实现元数据和数据全部冗余条带化分布,具备节点级别抗灾能力,保障业务连续性,即使一个存储节点故障也不影响数据完整性,让业务继续运行,保证如期交付任务。
结合焱融 YRCloudFile 的 SaaS 服务,可实现异地数据中心建设,真正意义上实现了混合云存储架构,做到数据云服务级别可靠性,彻底解决业务部门棘手的数据可靠性问题。另外,焱融 YRCloudFile 管理界面友好、操作简单、功能强大,简直是运维部门的福音。解放生产力,创造更多价值是焱融 YRCloudFile 追求目标。
除此之外,焱融 YRCloudFile 更核心的一个特征是混合文件管理能力。前文提到实景三维数据大多是混合大小的海量文件,焱融 YRCloudFile 已经落地的项目中,不乏百亿级别的海量文件应用,超几十亿级别的项目比比皆是,性能稳定如初。如此高的性能表现得益于焱融 YRCloudFile 产品的元数据管理和扩展能力强大。
跳出实景三维场景,在测绘领域的遥感 RS 等领域, ArcGIS、GXL 等应用软件,只要存储量大且对性能要求高,焱融 YRCloudFile 都是存储底层支持的最佳选择。
分享近期接触的一个案例,某国内一线实景三维应用厂商在使用焱融 YRCloudFile 搭建的移动集群,参与了夏天某地区水灾救灾工作。通过影像在短时间内对数据采集区域进行点云数据采集,并结合焱融 YRCloudFile 高性能存储建立起详尽准确地绘制灾情地图,并仿真模拟灾情影响,最终实现提供准确的定量分析。在此过程中,焱融 YRCloudFile 交付团队全程跟进,积极参与,为救灾做出贡献。
截至目前,焱融 YRCloudFile 已经参与建设众多高性能领域项目,为 GIS、RS、AI、生命科学、能源等领域提供坚实的存储支撑,通过不同的优化方法,帮助企业在生产过程中提升近 1 倍以上的能力,让空三、建模整体效率提升近 50%,整体工作排期压缩近一半时间,帮助大量国内客户提升生产效率,降低生产成本。