微美全息科学院:沉浸式虚拟现实技术在地球科学中的应用

近年来,随着科学技术的发展,地球科学领域的各种测量和模拟数据呈爆炸式增长,对数据的可视化和实时分析也提出了新的挑战,传统的二维可视化方法已经不能充分满足地球科学的科研和教学需求。新一代沉浸式虚拟现实技术使观察者能够直观地观察和分析三维地球的科学数据,并与数据进行交互,实现沉浸式地实时分析或远程虚拟野外考察,这将帮助地球科学领域的研究人员更快更准确地理解三维地球科学数据.同时虚拟现实技术也能促进新的科学发现的产生,并能够帮助地球科学的成果在大众中的科普推广。

目前已经有不少学者进行了相关的探索,并取得了一系列的重要成果.作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们回顾了过去几十年沉浸式虚拟现实技术的基本原理和在地球科学领域的各种具体应用方式,讨论了该技术在地球科学领域的优势与前景,以及进一步拓展应用水平还需要解决的相关问题。

地球科学的相关研究不断产生大量新的科学数据分析需求,首先,地球科学的研究领域十分广泛,不仅涉及地球整体系统的研究,广义上,还包括对太阳系中其他天体的相关研究,这些数据往往分布于三维空间,甚至是随时间演化的四维数据;其次,地球科学的研究方法也很多,包括了数学、物理、化学、生物、计算机等分析方法.数据来源的多种多样以及仪器设备和技术的快速发展,导致了数据量正呈指数级增长;最后,地球科学研究重视野外实地考察工作,很多野外考察点或是由于地处偏远很难到达,或是由于危险而无法到达,这使得实地分析数据变得十分困难。所以,对大体量的复杂地球科学数据进行可视化十分重要,传统的二维显示方法要求研究者在大脑中将一系列相关的二维图像数据转化为三维结构,这给地球科学的研究带来很大不便,也会影响研究结果的准确性,因此对三维数据体进行实时沉浸式分析是地球科学领域重要的研究方向。

近年来,沉浸式虚拟现实技术快速发展,在军事、医学、工业和教育文化等领域的应用都得到了深入的研究并取得了一系列的重要进展。针对地球科学研究领域,沉浸式虚拟现实技术也提供了全新的可视化工具,为地球科学数据的可视化提供了更大的空间、更多的维度和更直观的体验,能够大幅提升地球科学家的科研效率和数据分析的准确性。特别的,通过沉浸式虚拟现实技术能够实现虚拟地质考察.结合数据可视化重构技术,研究者不仅能在实验室中直接观察地球表面偏远危险区域的地形地貌,甚至可以针对月球和火星等天体的表面地质地貌进行身临其境般的科学考察和分析,这为地球科学实现新的科学发现提供了全新的研究手段。

目前,沉浸式虚拟现实技术在地球科学研究领域已经得到了一定的应用。本文首先介绍沉浸式虚拟现实技术的特点和地球科学研究的相关领域,然后对近些年该技术在地球科学各个领域的具体应用进行综合比较和分析,进而总结出沉浸式虚拟现实技术应用于地球科学领域的优势、目前尚存在的问题以及未来的发展方向。

1.沉浸式虚拟现实技术在地球科学中的应用

沉浸式虚拟现实技术能够打破时间和空间的限制,为地球科学的研究提供更广泛的空间、更多的维度和更直观的体验,地球科学家们已经针对该技术的具体应用方式开展了广泛的科研工作.沉浸式虚拟现实技术对地球科学的应用主要存在于两个领域。第一个应用领域是地质地貌的精细重建和虚拟地质考察。野外实地考察工作对于地球科学家十分重要,是认识地球系统演化的主要手段之一。

但是,一方面,很多野外考察点地处偏远很难到达,比如沙漠、戈壁、南北极等区域;或者由于危险几乎无法到达,比如活火山、深海等区域。另一方面,行星科学的发展使得测量与重建其他行星的地表地质成为可能,如火星等。虚拟现实技术能够在虚拟空间精细重建通过各种观测方式得到的地表地质和演化过程,使得地球科学家们能够对其进行沉浸式分析,大大拓展了野外考察的地域范围和时间范围,对于推动地球科学的进步具有重要意义。

第二个应用领域是海量数据的三维分析。地球科学的数据类型多种多样,如:地形高程数据、卫星图像、二维场数据(如重力场、磁场、放射性、电阻率、化学成分、热流等)、三维的物质属性数据(如层析成像)、探地雷达数据、测井数据、点云数据等。随着仪器设备和研究技术的发展,展示三维空间随时间演化的数据量呈指数级增长,对大体量的复杂数据进行可视化分析变得尤为重要。

目前常用的数据分析主要基于二维的计算机平面显示器,方法包括等值面法、体积渲染法、切片法等。这些可视化方法通常要求地球科学家从二维图像中获取信息,在大脑中将这些信息转化成三维结构,以此来分析和解释科学数据。这样的过程需要优秀的空间思维能力和丰富的科研经验,才能够在头脑中将很多相关联的二维图像数据合成三维的数据体,否则容易忽略掉数据在三维空间的特征。即使是经验丰富的地球科学家,也需要花费很大一部分时间来解析这些复杂的多维度的地球科学数据,对于初入地学科研领域的学生和爱好者来说更是十分困难。因此,使用沉浸式虚拟现实技术直观地观察、分析和解释三维地球科学数据具有广泛的应用前景,对于准确理解数据蕴含的科学价值起到十分重要的作用。

2.地质地貌的精细重建和虚拟地质考察

典型的地学三维数据包括地表地质地形数据和地球内部结构数据等。地表地质地形数据展示了地表的实际形态,是地球科学数据的基本数据类型。近年来随着科学技术的发展,基于遥感和地基测量获取的随时间演化的地表特征数据大幅增加,传统的分析方法是地球科学家通过分析地质剖面、等值线图、伪3D图像等数据来研究地表的特征,这些方法要求科学家有丰富的经验和良好的空间思维能力。而通过虚拟现实技术结合地表数据,科学家可以在3D虚拟现实系统中重构出准确的、具有科学意义的地质场景,再结合特定的工具,直观地观察和分析数据的特征。目前已经有很多地球科学家采用沉浸式虚拟现实技术来观察分析地表数据。Kinsland等使用3D虚拟现实系统对墨西哥尤卡坦半岛的Chicxulub撞击坑如图1所示。和美国路易斯安那州的Vermilion河口地形进行可视化,并进行沉浸式的观察与分析。如果使用传统的剖面、等值线方法,他们往往需要数周的时间来解释这些数据,但是在虚拟现实环境中只需要几个小时就能漫游整个数据空间,并且直观的3D观测也能够带来不同的灵感,激发科学创新思维。

图1撞击坑结构在LITE设备上的显示

所以他们预测随着3D虚拟现实显示系统更加普及,将会有更多的地球科学家利用3D虚拟现实技术来解释地质或地球物理数据。虚拟技术可数据进行可视化分析,大大压缩了实地考察构建地图所需的时间,能够针对地震灾害实行快速的科学响应。如图2所示,科学家开发了一套虚拟现实可视化流程来研究、分析和展示地球物理学数据,在虚拟现实中可以有更大的显示空间,而且可以将数据的相关信息显示在任意位置的平面上而对数据观察本身不造成干扰,这说明虚拟现实系统具有很好的易用性,可以帮助科研人员提高效率。

图2丰富的马里亚纳海沟数据信息显示

近些年无人机技术不断成熟,通过无人机按设定路线飞行,获取一系列地表图像,然后采用适宜的算法将图像数据转化为地表高程数据,正在被越来越多的科学家用来获取局部的地表数据。首先,基于该种方法重构的数字高程数据,发布了一个沉浸式虚拟现实平台,并根据数据构建虚拟现实场景,搭建了虚拟地质观测点。

这种在实验室中重建的地质观测点,可以拓展目标区域的时空限制,使得科学家可以在方便的时间对任何区域进行虚拟实地研究。其次,地震灾害造成的地表断层对于灾害分析十分重要,但是其可观测时间往往都很短暂。结合3D虚拟现实系统实现了对地震造成的断层滑移进行精确且可重复的测量,有效避免了地震造成的地表断层的细节特征由于风化或修复作用而快速衰减的问题。

最后,直接的野外露头观察和实地数据采集对活动火山的研究十分重要,然而活火山附近复杂的地质环境和危险的火山活动使得很多露头都很难到达,同时传统的卫星遥感和飞机测量都很昂贵,分辨率也很难达到要求,特别是对于火山周围垂直的悬崖地区。利用无人机获取的图像信息构建真实的三维数据,然后通过3D虚拟现实技术搭建火山地质场景,实现在虚拟场景中观测一些难以进行实地考察的地质露头,这项技术在火山的研究、教学和科普中发挥了十分重要的作用。

除了对地球表面区域的实地考察和分析,通过卫星获取的其他天体的数据,在沉浸式虚拟现实环境中同样可以实现对其他天体的虚拟地质考察。进行天体数据的可视化,使用卫星图像和高分辨率数字高程数据(DTM)重构了火星场景能够实现对火星表面的虚拟地质观测和分析。

综上,通过卫星遥感、无人机等技术可以高效地获取地表地质地貌的特征数据,构建高质量的虚拟地质场景,之后通过沉浸式虚拟现实技术随时进行模拟现场的考察和分析工作。这种技术一方面大大降低了地质考察研究的成本和扩大了空间可及性,另一方面也使得非专业人员能够方便地观察与体验各种复杂地质工作的过程,激发大众对地球科学的兴趣,促进地球科学知识的普及。

2.1地球内部结构和演化数据的三维分析

地球内部的三维结构和演化是地球科学研究的重要领域。三维的地球科学数据快速增加,使得未来地球科学的研究需要更多地面向三维空间的联系、复杂的空间结构和多种尺度的演化过程,而传统的二维平面分析方式不足以满足相关科研的需求。沉浸式虚拟现实技术提供了直接观察三维数据的工具,能够帮助地球科学家更好地分析和解释多个物理场相互叠加的复杂三维数据,从而更准确地理解地球内部结构和演化特征。对于深度较浅的地球内部区域能够通过测井等方法进行原位测量得到结构数据并进行分析。

在3D虚拟现实环境中,他们可以将三维地表地形和测井数据同时显示,观察者可以使用手持设备控制缩放,穿透通过各个测井,观察这些井在三维空间中可能存在的相互关系。这种技术使得测井数据与地形之间、测井之间的关系能够被直观地观察和分析,帮助科学家更快更准确地认识到这些特征之间的三维联系。

地球半径接近6400 km,对于更深部的结构,科学家无法到达地球内部进行原位测量和观测,而主要是通过地震、地电、地磁等数据反演出地下结构的物理属性,并做进一步地分析和解释。比如,地球科学家通过地震数据来识别板块边界,研究俯冲带的特征。

随着数据量的增大和认识的不断深入,科学家们开始认识到俯冲板块的形态沿走向和深度都存在复杂的变化,因此充分认识板块的三维形态是理解上覆板块变形和下部地幔对流模式的关键。如图3所示,全球俯冲带系统的三维结构模型,将俯冲带系统的解释研究工作从二维平面图像转移到了三维空间,进而通过可交互的3D虚拟现实技术实现在地球内部数据点阵中的漫游和分析。这大幅提升了对俯冲板块形态的认识,比如俯冲板块的倾角随深度的变化、不同板块之间的交叉和堆叠、板块空洞等,有效提高了科学家对地球内部结构的研究水平。

图3在交互式3D虚拟现实系统中使用Show Earth Model的例子

随着高性能计算机的发展,借助超级计算机和并行算法,科学家可以通过数值模拟的方法对地球内部的动力学过程进行三维定量的研究,但是大尺度三维数值模拟的数据量巨大,为三维可视化带来了不小的挑战。

2.2先进交互方式的引入

交互,即输入和输出,是虚拟现实系统的重要组成部分。为了更好地实现沉浸式的体验和分析,将先进的虚拟现实交互方式引入地球科学研究十分必要。虚拟现实系统中的输入大致可以分为两类:手动操作和自动捕捉操作。手动操作是指通过键盘、鼠标、摇杆等通用设备和定制操控设备进行手动输入,这一类输入方式目前比较成熟,输入准确;自动捕捉是指通过陀螺仪、加速度计、摄像头、麦克风等传感器对头部、手、眼睛、身体、声音、位置等信息进行自动捕捉,并结合算法自动识别交互,这一类输入方式更接近人类的自然习惯,几乎不需要学习即可上手,但是目前准确性还不够好。

虚拟现实系统的输出主要针对人类的视觉、听觉、嗅觉、触觉和味觉,所以目前常见的沉浸式虚拟现实设备HMD和CAVE也以视觉和听觉输出为主,而在地球科学中的应用更是以视觉为主。针对不同的应用场景,相应的交互方式也会有所区别。

在地球科学的研究中,科学家往往关注的是在大范围地质场景中的穿梭,以及对距离、倾角、走向、面积、体积等特性的测量。按照操作对象的不同,交互可以大致分为三类:对观察者自身的操作,对场景中物体(可视化数据等)的操作和对3D交互界面的操作。对观察者自身的操作即观察者可以通过自己身体的自然移动(头部转动和走动等)对场景进行直观地探索,这种交互方式目前的沉浸式虚拟现实设备大多都能提供。

在此基础上,使用手柄等输入设备直接控制场景移动,可以扩大观察者的观测范围。对场景中物体的操作即观察者使用输入设备对场景中的物体进行操作。对3D交互界面的操作能极大地丰富虚拟现实系统的功能,观察者可以通过操作界面选取所显示的数据类型、探索模式、测量工具等,此外,3D交互界面还可以作为显示屏用来显示各种辅助资料信息等。目前,虚拟现实系统的交互方式还都比较初级,但是相比传统的2D显示方法,沉浸式虚拟现实交互分析在地球科学中已经体现出强大的空间显示和分析能力,能够帮助科学家更加有效地与地球科学数据进行交互,并且运用相应的工具进行定性和定量的分析。

3.讨论与结论

3.1虚拟现实技术在地学领域的积极作用

(1)沉浸式虚拟现实技术应用于虚拟地质考察能够打破时间、空间对实地野外考察的限制。在沉浸式虚拟现实系统中可以对精细构建的三维地质地貌进行随时和反复观测。对于活火山口、海底洋中脊、月球、火星这样难以到达的高风险区域,也都可以通过沉浸式虚拟现实技术进行虚拟实地考察,具有节省成本和提高安全性等一系列优势。

(2)三维的地球科学数据在虚拟现实环境中能够被直观地可视化,地球科学家可以穿梭于数据之中,深入地观察三维的结构特征,避免了传统方法中2D图像到3D结构的转化过程,大大提升了信息获取的效率,从而帮助科学家更加高效准确地分析和解释地球科学数据。

(3)在虚拟现实环境中能够直接操作三维数据,这样的交互方式更贴近人们的自然感官,相比传统的专业性强的工具更易上手,也更能发挥观察者的主观能动性,提升创新能力。

(4)虚拟现实技术不仅对地球科学的科研工作有很大帮助,也能够帮助刚进入地球科学专业的学生和对地球科学感兴趣的大众直观地理解地球科学数据,激发普通群众了解地球科学的兴趣,助力地球科学的教育和科普工作。

3.2需要解决的问题

(1)目前主流消费级虚拟现实头盔,在首次使用时都需要完成手柄配对、定位器校准、虚拟边界设定等一系列配置,相较于传统桌面显示器的即插即用,这往往会让很多科学家觉得烦琐,从而阻碍他们使用。

(2)虽然现在虚拟现实设备的显示质量大幅提升,但是眩晕的问题依旧存在,尤其是对部分敏感人群,这关乎虚拟现实设备用户使用时长的问题,需要从软件和硬件两个方面共同推进解决。

(3)目前的虚拟现实系统还需要更友好更方便的交互方式。目前在虚拟现实系统中能够供地球科学家使用的工具并不多,需要开发更多合适的工具。这一方面可以提高用户在虚拟现实环境中的使用效率,另一方面也能够吸引更多的人来使用虚拟现实系统。

(4)传统的平面媒体是学术成果发表的主要平台,随着沉浸式虚拟现实技术的不断普及,学术期刊等媒介也要顺应趋势,结合自身特点作出改进。首先可以采用传统的桌面显示器或移动端显示设备(手机、平板等)开发出可交互式的3D可视化内容,培养科研工作者使用虚拟现实系统的习惯,并逐步形成虚拟现实内容的制作流程,推动沉浸式虚拟现实技术在学术成果传播领域中的应用。

3.3结论和展望

本文总结了近年来沉浸式虚拟现实技术在地球科学领域的具体应用并讨论了其优势和存在的问题。在地质地貌的精细重建和虚拟地质考察领域,沉浸式虚拟现实技术让地球科学家们能沉浸式地分析地表地质和演化过程,不仅大大降低了野外考察的成本和危险性,而且拓展了野外考察的地域范围和时间范围。在地球内部结构和演化数据的三维分析领域,地球科学家们使用沉浸式虚拟现实技术能够直接观察、分析和解释复杂的三维数据,从而更准确地理解地球内部结构和演化特征。

除了在科研领域发挥的重要作用之外,沉浸式虚拟现实技术还能够推动地球科学的教育和科普工作,帮助普通群众了解地球科学知识。但是,沉浸式虚拟现实技术目前还存在硬件成本较高、使用过程较烦琐、软件工具不完善等问题,需要不断地提升软件和硬件的水平,以此提供更好的沉浸式体验和交互方式,这样才能推动沉浸式虚拟现实技术更好地应用于地球科学领域。

虚拟现实技术被认为将会成为未来主流的显示技术,广泛地应用到各个领域。沉浸式虚拟现实技术未来的发展方向首先是需要通过硬件和软件的提升来增强沉浸式的体验效果、提高系统的可交互性以及易用性,以此来吸引更多的用户;其次是通过互联网的连接来突破空间的限制,实现在虚拟现实环境中开展学术交流、举办学术会议等活动,这样能够促进科研成果的广泛交流;最后,对于地球科学的研究者来说,还需要开发出更多在虚拟现实场景中使用的地球科学研究工具,以此来推动地球科学的研究工作。

随着低成本高质量的虚拟现实设备不断问世,虚拟现实技术的沉浸式体验和可交互性必将吸引越来越多的地球科学家使用其进行科研和教学工作,使得沉浸式虚拟现实技术在地球科学领域发挥越来越重要的作用。

微美全息科学院成立于2020年8月,致力于全息AI视觉探索科技未知,以人类愿景为驱动力,开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量,推进以科技创新为核心的全面创新,开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究:

一、全息计算科学:脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学:脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学:脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学:脑机全息云、量子全息云、光电全息云

以下是微美全息科学院的部分科学家成员:

李徐周,山东大学计算机科学与技术学院博士,是模式识别与图像处理方向学术带头人。近年来一直从事模式识别与图像处理等领域的研究、开发与应用工作。曾参与国家自然科学基金重点项目和山东省自然科学基金重点项目等多项课题的研究工作。在模式识别、图像处理等方面打下良好的工作基础。近年来已在模式识别、图像处理等方向发表多篇学术论文。

郑玉洁,重庆大学博士学位,研究方向包括产品设计变更管理、VR/AR驱动商业模式创新,曾经主研的科研项目包括山东科技大学菁英计划的《基于VR/AR技术的复杂机械产品设计变更管理研究》、重庆大学汽车协同创新中心重点项目《VR/AR技术在汽车消费行为偏好挖掘中的应用及关键技术》及其他多项国家自然科学基金项目,也曾参与发表多篇期刊论文。

刘湘辉,国防科技大学计算机工程与科学专业博士,研究方向包括成像卫星任务规划、无线传感器网络以及公路工程管理软件应用等。曾参加多项国家自然科学基金,其中,其在无线传感器网络方面的相关研究论文曾被《计算机研究与发展》、《电子与信息学报》、《软件学报》以及若干国际会议录用和发表。

丁凯,华中科技大学电力电子与电力传动专业博士,香港理工大学研究员,研究方向包括电子电力学仿真技术,电动汽车、电池管理系统等,曾主导过多项相关的研究项目。

郭松睿,湖南大学计算机科学技术工学博士,曾在中科院科学计算国家重点实验室合现实技术研修班学习混合现实,增强现实技术,参与研发多个重点项目。

江涛,中国科学院沈阳自动化研究所博士,机器人学国家重点实验室,研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发,在2018年获得ICRCA-2018机器人EI国际会议"最佳论文奖"。

杨军超,重庆邮电大学通信与信息工程学院信息与通信工程专业博士研究生,华盛顿大学电子工程学院联合培养博士,长期研究虚拟现实、5G多媒体传输优化、基于MEC的智能转码优化,以第一作者发表SCI/EI论文6篇,中文核心1篇,申请专利4项。

李维娜,2017年博士毕业于韩国忠北国立大学的信息和通信工程学院。2017年8月去了新加坡的Singapore-MIT Alliance for research and technology centre(SMART)从事压缩全息(compressive digital holography)的博士后工作,2018年11月进入清华大学深圳国际研究生院的先进制造学部,在以前工作的基础上把数字全息(digital holography)拓展到机器学习(machinelearning)领域,特别是对U型网络(U-net)的改进和应用。在上述研究领域以第一作者发表高水平论文5篇,以第二作者发表的高水平论文2篇。

曲晓峰,香港理工大学博士,现任清华大学深圳研究生院博士后,主要研究生物特征识别、机器视觉、模式识别,与绿米联创合作进行嵌入式产品算法、深度学习应用、图像与视频相关算法以及生物特征识别相关产品的开发。

危昔均,香港理工大学康复治疗科学系博士,南方医科大学深圳医院虚拟现实康复实验室负责人,主要研究基于虚拟现实技术的康复系统搭建及相关临床和基础研究。

李庆普,上海理工大学博士,在虚拟现实领域有丰富的研究经验及项目实践经验,曾参与基于计算机触觉技术的虚拟医疗仿真技术研究、汽车模拟驾驶仿真研究、多体感VR硬件研发及VR实训安全教育等多个项目。其已发表多篇相关论文并取得多项专利。

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台,促进重大科技创新应用,打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命,专注未来世界的全息科学研究,为全球人类科技进步添砖加瓦。

微美全息成立于2015年,纳斯达克股票代码:WiMi。$微美全息(WIMI)$ 
微美全息专注于全息云服务,主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术,元宇宙虚拟云服务等全息AR技术的多个环节,是一家全息云综合技术方案提供商。

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

举报

评论

  • 推荐
  • 最新
empty
暂无评论