社区

元宇宙概念的提出，给人们描绘了一个平行于现实世界的在线虚拟世界。依靠设备的革新进入一个基于现实世界的但与现实形成强烈反差的虚拟世界，获得超越现实的沉浸感体验，这给多个行业带来了更多的便利。针对传统博物馆展览存在时空方面限制的不足，作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们提出了将文化旅游、科技手段与商业模式融为一体，重点围绕AR、逆向建模、增强现实跟踪注册技术等，充分挖掘地区文化旅游资源主题精髓，打造精品数字工程，实现面向特色文化旅游的数字时代历史博物馆交互体验系统研发，搭建基于AR的数字化博物馆平台。

通过落地实施的各项成果，表明基于AR的数字化博物馆平台能够有效增强博物馆展陈的社会功能与艺术价值，使参观者获得丰富的观览体验，对促进“互联网+中华文明”行动计划的实施与发展有着重要意义。

1.概述

随着社会变迁，保护珍贵文物进而传承历史文化显得尤为重要，但特定时期历史文物由于受人为破坏与自然侵蚀影响难以展现全貌，如何描述与测绘文物已成为现阶段所要研究的重要问题。博物馆既肩负着对自然及文化遗产进行收藏、研究、保护的工作职责，又承担着向群众展览展示藏品的工作职责。因此，利用数字技术手段对博物馆藏品的相关资料信息进行数字化、信息化是当今互联网时代博物馆发展的趋势与方向。

增强现实技术将真实环境、物体与虚拟场景三者密切联系起来，使用户能够在虚拟三维空间中有效同步地获得沉浸式的交互体验。AR关键技术包括空间定位、图像识别、物联网与传感器、移动计算等，其基本工作原理是先对真实场景中的标记物利用智能设备内置的摄像头进行识别并对目标的运动进行跟踪，然后将虚拟信息（如图像、文字、三维动画）和现实场景利用空间定位技术进精确的三维配准，并将虚实结合的信息通过3D眼镜、HTC VIVE等显示设备进行展示，从而实现人机交互。利用高光谱成像仪在可见光到短波红外范围内连续遥感成像的技术，为文物的量化保护和修复提供了帮助；通过5G+AR文物修复助手将5G和AR技术相结合应用于文物保护修复；以三维扫描技术为手段处理珍贵文物的相关数据，通过建模为复原文物提供依据，助力博物馆文物保护工作。

上述研究打破了传统文物保护时空、方式方面的局限性，但要让博物馆的社会性特征与教育性特征发挥得愈加明显，必须要从博物馆观众的角度出发，从认知、体验、互动等多方面更多地开发与创新数字化技术的具体应用。结合新一代人工智能中AR技术沉浸感强、交互性好的优势，通过数字新媒体技术，针对兰州市博物馆文物保护需求，研究设计并实现基于AR技术的数字化博物馆平台。该平台从移动终端获取兰州市博物馆内展示文物的相关信息和典故，在终端设备通过图像、视频等形式演绎，实现科技化、创新性的“数字化历史博物馆”。

2.平台架构

研发平台主要依托于大数据云平台，通过对兰州市博物馆文物进行数据资源采集（包括文物本体信息采集、数据信息整理分析等），利用增强现实、逆向建模、跟踪注册等数字化技术进行数字化还原，从而实现互联网时代历史文化的数字科技化，用户可以通过手机、平板、HTC VIVE设备、全息设备等各种系统平台完成相关文字、图片、音频等交互操作，获得沉浸式、实时交互、智能互动等优质体验。基于AR技术的数字化博物馆平台架构如图1所示。

图１ 平台架构

3.　关键技术

3.1数据获取

逆向建模的首要环节是进行数据获取，获取数据的精度、完整性对逆向建模有重要影响。数据采集设备的扫描方法按是否与被测物体接触分为接触式扫描和非接触式扫描。该项目因涉及马家窑、石岭下、半山、马厂、辛店5个类型的彩陶器物，根据文物保护要求，此项目实施只能采用非接触式扫描的方式，以减少对文物的损伤。

数据获取模块有设备、预览、采集、记录、停止5个操作部分。设备用于判断扫描仪和电脑是否正确连接，从而实现扫描仪与软件之间的数据交换。预览用于确定扫描仪与被测物体近距离扫描范围最大峰值，以备固定扫描仪。采集用于对被测物体进行激光扫描。记录用于实时保存获取到的被测物体的扫描数据。停止在被测物体获取数据缺失、数据扫描完成暂停数据采集时使用。

3.2数据分割

Artec Space Spider三维扫描仪能更准确地捕捉到文物的表面纹理细节，但相应地会产生大量的点云数据（以30cm高的陶器为例，产生的原始数据大小约为3GB）。从Artec Studio 8 Professional软件开始，Artec 3D扫描仪使用的扫描和自动跟踪的算法中加入了对用户的人性化功能设定。Artec 3D扫描仪配备了彩色相机，若用户不想花太多时间调整算法的设置，一般情况下使用几何＋纹理跟踪算法完全可以满足逆向建模项目中的使用。通过Artec 3D扫描仪获取到大量散乱数据。首先，需要将特征点一样的多边形数据进行曲面集合文件合并；然后，通过多个曲面集合文件重建曲面特征模型。点云数据拼接关系的表示方法为：

分析获取到的被测量数据，将获取到的同特征多边形数据进行分类整理，从而得到曲面模型数据。判断每个曲面集合文件所在的坐标位置，并将生成的曲面集合文件序号按分类进行顺序排列，如图2所示。

图2散乱点云集合文件关系的表示

通过软件提供的1点拼接和n点拼接两种算法来处理大量散乱数据。1点拼接将两片局部点云数据进行调整，保证其大致在同一个视角之内，接下来将重合部分的1个共同特征点选中来实现拼接；n点拼接至少需要3个共同特征点，基于数据不在空间内同一直线上的3个点相匹配的原理来实现。在使用手动拼接过程中，将物体的两片局部点云数据进行选中，调整使其位姿一致，选中n个公共特征点拼合成两片局部点云数据，拼合完成之后把其拟合为一个整体。若存在其他片点云，将其拆解与之前拼合的整体点云进行两两拼接，从而实现将n片局部点云数据拼接成一个完整的数据模型。

3.3数据预处理

进行逆向工程时，在完成被测物体模型扫描后将点云预处理放在首位。因为在实际应用中数据按这种方式预处理后会出现数据丢失现象，所以在平台搭建过程中第一步进行了数据分割，接着才是数据预处理。在数据采集中，由于环境因素或人为因素的原因，导致数据的误差生成，点云数据存在噪点，导致被测物体模型曲面重构不够理想，建模质量受光滑性、精度等影响，因此三维曲面模型重建前关键是去除多余的噪点。有些被测物体的形状过于复杂，在扫描时死角无法扫描导致数据缺失，因此必须修补扫描数据。

为提高扫描精度，需要对扫描过的大量点云数据的冗余数据进行精简处理。若将被测量物体的数据信息不能一次全部扫描，就需进行多角度、多次数扫描，再对点云数据进行拼接，最终形成完整物体的表面点云数据。对初始扫描数据进行去除非连接项、去除体外噪点、采样等一系列的预处理，从而得到高质量的点云或多边形对象。

3.4曲面重构

点多边形数据模型经过表面光滑及优化等处理后，得到光滑的、完整的多边形模型，并将错误的三角面片消除，提高后续拟合曲面的质量。通过对模型数据进行噪点清除、钉状物删除、多边形模型多余三角面片删除、填充内外孔或者拟合孔、自动修复相交区域、消除重叠三角形以及合并多边形对象，并使用布尔运算等步骤进行数据处理，最后通过修改边界（对边界进行编辑、松弛、直线化、细分、延伸、投影、创建新边界等处理）进行模型的曲面重构。

4.平台设计

4.1平面文物图像数据采集

多光谱图像超高分辨率微距采集系统具有非常高的分辨率，其精度可达100亿像素以上，能够采集大幅面古代字画、美术典藏品、大幅面地图及3D物体等，它具有精度高、速度快、可采集大尺幅壁画等特点。以全自动的采集方式，通过光源与镜头的相互配合并利用数码相机可以改变光线强弱、光线角度及镜头光圈等特点，进而去克服平台扫描仪滚筒电分机的缺点（如扫描繁琐、适应原稿的种类能力不强、扫描幅面受限、拍摄时过分依赖环境光源、无法将原稿中所有材质精确还原并且存在尺寸畸变），多光谱图像高分辨率微距采集系统把传统扫描仪与数码相机的优点选择性的结合起来，并且为馆藏文物的大数据应用奠定良好的技术基础。

采集系统利用现代控制技术，变常规固定式滤片为可选择性多光谱截止滤片，实现了多光谱图像获取，创新性的采用了支点寻根定位技术，可进行平面大尺幅及微距和立体文物的超高精度图像的全方位数字化采集。采集系统为文史资料的大数据获取提供技术解决方案，采集精度可达每平方米超百亿像素，满足文物材质、结构、病害无损检测和多参数同时分析的需求，为文物数字化数据存储、价值认知、鉴定、病害分析、保护修复效果评价提供高效、无损分析手段。

4.2 数据库设计

通过准确了解和分析用户需求，对进入兰州市博物馆藏品数据库的信息进行统计、查询和知识整合，进行数据库概念结构设计，并将保护、研究和管理藏品的信息不断积累，形成藏品的“生命档案”，后期根据需求进行数据库的运行和维护。在此基础上完成了１套兰州市博物馆数据库建设标准，数据库设计流程如图3所示。

图3数据库设计流程

4.3平台子系统功能模块设计

平台主要包括３个子系统：

(1)博物馆增强现实导览系统。通过增强现实(AR)技术，搭建基于移动终端的展示平台，增加文物展品的拓展内容，用“图文＋视频＋虚拟动画”的方式使文物变得鲜活起来，打破时间、空间和平面展墙载体的限制，营造自然的混合式体验。平台研发过程中充分利用图像、音频、三维虚拟场景、全景互动等数字化内容及成果，以加强参观者观赏、学习、娱乐为出发点，为其提供沉浸式的交互体验。

(2)虚拟博物馆示范。博物馆VR交互体验系统包括4个部分, 分别是场景漫游模块、场景交互模块、虚拟导游模块以及寓教于乐的故事模块。整套系统能够让用户在逼真的虚拟场景中身临其境，用户通过环境交互及听故事的方式了解文化历史。

(3)馆藏文物全息展示系统。在兰州市博物馆东、西展厅中配备了两套全息成像系统，该系统基于立体投射镜成像原理，通过立体成像仪的处理，将获得的视频数据通过全息装置悬浮呈现在投射空间中。

5.结语

根据博物馆的研究内容及需求，研发了基于AR技术的数字化博物馆平台，此平台适用于博物馆参观人群，可定制业务模式推广至文化景区、大型游客集散中心等高密度旅游人群的场所，以“AR＋旅游”模式提高游客参与性，提升旅游附加值。兰州市博物馆投入使用情况表明，该平台将历史文化与新兴信息科技交汇，使得体验者拥有强烈的参与感，该平台智能高效、与时俱进、真实可互动，可为同类的AR系统平台研发提供参考。

微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：

一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学：脑机全息云、量子全息云、光电全息云

以下是微美全息科学院的部分科学家成员：

李徐周，山东大学计算机科学与技术学院博士，是模式识别与图像处理方向学术带头人。近年来一直从事模式识别与图像处理等领域的研究、开发与应用工作。曾参与国家自然科学基金重点项目和山东省自然科学基金重点项目等多项课题的研究工作。在模式识别、图像处理等方面打下良好的工作基础。近年来已在模式识别、图像处理等方向发表多篇学术论文。

郑玉洁，重庆大学博士学位，研究方向包括产品设计变更管理、VR/AR驱动商业模式创新，曾经主研的科研项目包括山东科技大学菁英计划的《基于VR/AR技术的复杂机械产品设计变更管理研究》、重庆大学汽车协同创新中心重点项目《VR/AR技术在汽车消费行为偏好挖掘中的应用及关键技术》及其他多项国家自然科学基金项目，也曾参与发表多篇期刊论文。

刘湘辉，国防科技大学计算机工程与科学专业博士，研究方向包括成像卫星任务规划、无线传感器网络以及公路工程管理软件应用等。曾参加多项国家自然科学基金，其中，其在无线传感器网络方面的相关研究论文曾被《计算机研究与发展》、《电子与信息学报》、《软件学报》以及若干国际会议录用和发表。

丁凯，华中科技大学电力电子与电力传动专业博士，香港理工大学研究员，研究方向包括电子电力学仿真技术，电动汽车、电池管理系统等，曾主导过多项相关的研究项目。

郭松睿，湖南大学计算机科学技术工学博士，曾在中科院科学计算国家重点实验室合现实技术研修班学习混合现实，增强现实技术，参与研发多个重点项目。

江涛，中国科学院沈阳自动化研究所博士，机器人学国家重点实验室，研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发，在2018年获得ICRCA-2018机器人EI国际会议"最佳论文奖"。

张鑫，湖南大学计算机科学与技术工学博士，主要研究硬件电路前后仿真，并进行实际的芯片设计工作，有丰富的整套流流程的经验，如集成电路设计、性能仿真、版图设计、版图验证、前后仿真、流片及封装测试等。曾参与过多项国家自然科学基金项目，发表多篇相关学术论文，多次参加相关领域的学术会议。

洪岳，瑞典乌普萨拉大学工程科学学院博士，现为深圳大学全息计算机技术、光电通信技术助理教授。研究方向包括全息计算机科学、半导体光电、自动化与信息工程、通信系统等等。曾参与发表相关研究领域的多篇期刊论文和会议论文。

张伟略，昆士兰科技大学博士，研究方向主要有沉浸式现场娱乐，跨文化研究、用户体验、本地化策略、沉浸式戏剧等等，其拥有众多光路设计作品，曾获2014上海青年创意基金相关奖项。

王璨，哈尔滨工业大学电气工程博士,德国慕尼黑工业大学,电力电子与电力传动研究所,联合培养博士。研究领域有电力电子工业VR技术应用、新一代全息孪生工厂技术、工业4.0等。曾参与国家自然科学基金委联合基金重点支持项目、国家自然科学基金委青年项目、广东省自然科学基金委面上项目等。发表了多篇相关领域的期刊论文，联合取得相关专利3项。

刘艺涛，新加坡南洋理工大学电气与电子工程学院博士，曾为新加坡南洋理工大学，罗尔斯•罗伊斯-南洋理工大学联合实验室博士后。曾主持国家自然科学基金青年项目、广东省科技厅博士启动项目、深圳市基础研究等项目。参与发表过多篇相关领域的学术论文。

刘云，浙江大学电力系统及其自动化工学博士，美国中佛罗里达大学电气工程和计算机科学联合培养博士，曾为新加坡南洋理工大学能源研究中心博士后研究员，是深圳市南山区C类“领航人才”、深圳市海外高层次人才C类，主要研究方向包括微网/主动配网分布式优化控制等。参与发表过多篇相关领域期刊论文和会议论文，联合发明专利一项，曾做过多场专业学术报告，参与/主持多项科研项目，包括图像信息处理与智能控制教育部重点实验室开放基金(IPIC2019-02),多能源集成优化调度等。

胡国庆，北京大学电子学系博士、博士后，北京大学深圳研究院副研究员，北京大学深圳研究院5G课题组组长，北京大学深圳系统芯片设计重点实验室副主任，深圳市高层次专业人才，广东省百名博士博士后创新人物，深圳市南山区“十大南山好青年”，深圳市新兴战略产业博士专家联谊会创始发起人、副会长兼执行秘书长，深圳5G产业协会专家委员会副主任，深圳5G产业联盟专家委员会副主任，深港澳博士专家联盟副秘书长，朴素资本首席信息技术顾问。拥有副研究员、高级工程师两个高级职称，一个客座教授荣誉称号。参著学术专著一部，发表SCI/EI/ISTP等高质量学术论文40余篇，申请发明专利17项；主持国家及省市级科研项目六项，参研国家级项目十余项。

袁志辉，中国科学院大学（中国科学院电子学研究所），通过硕博连读获得通信与信息系统专业博士学位，主要研究方向：（1）InSAR信号处理；（2）信号分析与处理。现主持国家自然科学基金项目1项，湖南省自然科学基金项目1项，主持湖南省教育厅科学研究项目2项；先后参与国家自然科学基金、湖南省自然科学基金和省教育厅重点科研项目等5项；目前获专利授权2项；在国内外重要学术期刊上发表论文十余篇，其中SCI收录9篇，并担任过IEEE GRSM、TGRS、JSTARS、Access、Letters、SPL和JARS等国际遥感类和信号处理类权威期刊的审稿人。

彭福来，北京理工大学电子科学与技术专业的工学博士。长期从事电子信息、人工智能、大数据处理、医学信号处理等领域的研究工作。作为负责人或骨干人员先后参与国家重点研发计划、国家自然科学基金、装备发展部、省自然科学基金、济南市高校团队人才等重大科研项目。在电子信息、人工智能、大数据处理、医学信号处理分析、生理信号检测等方面具备丰富的研究开发经验。发表论文10余篇，申请专利20余项。

林炯康，香港理工大学电力电子与电力传动专业博士，主要研究方向为工业VR引擎等。曾在诺丁汉大学电子与电机工程系负责控制算法的研究和测试，软件的开发与维护等。发表SCI论文多篇。

张铸，香港理工大学电气工程系博士，研究项目包括VR工业培训系统设计，电机控制器设计与优化等，且参与了多项国家自然科学基金的项目，取得多项相关科技成果，包含一项发明专利、三项实用新型专利和两项软件著作权。

徐翠东，香港理工大学博士，研究方向包括电气工程、电力电子的智能应用等，曾为香港理工大学电机工程系电力电子研究中心研究员，IET电力电子评论家，曾主导多项相关的研究项目，参与发表多篇期刊论文和会议论文。

李社，哈尔滨工业大学博士，主要研究方向为手性光子晶体、手性光子晶体光纤及传感。参与国家自然基金、黑龙江省基金等多项项目，发表论文多篇，其中SCI检索3篇，EI一篇。获黑龙江省科技进步奖二等奖一项。

乔牧，哈尔滨工程大学博士，研究方向包括VR设计原理等，发表过多篇科技论文，参与了多项科研项目，包括国家自然基金项目、黑龙江省教育厅科研项目等，曾取得三项科技奖励，获得两项实用新型专利和一项发明专利。

滕达，中国铁道科学研究院博士，研究方向包括计算机科学与技术自然语言处理、信息工程及控制等，曾主持多项相关课题的研究，参与发表多篇学术论文，已申请发明专利3项。

田雪松，哈尔滨工业大学博士，研究方向包括图形图像光电信息处理及传感技术、量子通讯电子物理研究、激光防护用氧化钒薄膜性能研究等，曾发表多篇相关学术论文，曾参与多个国防科技预研跨行业综合技术项目。

朱学群，北京林业大学博士，具备交叉学科背景，擅长数理统计、量化分析、科学管理，主导多个重点全息AR项目实施，在材料、显示理论与研究很深的行业经验，是新华网中国双创导师、北京市海归科协双创导师。

李迁，北京科技大学博士，研究方向包括材料加工分析、镀膜、工业VR等，在激光共聚焦显微镜、扫描电镜、透射电镜等进行深入研究，对于分子材料、材料连接技术方向曾参与发表多篇相关论文。

赫万佳，香港理工大学博士，主要研究基于虚拟现实技术的康复系统及相关临床和基础研究，曾参与发表多篇相关论文及多个相关项目的研究。

周福礼，重庆大学博士，为国际学术协会会员。主要研究方向包括VR/AR驱动商业模式创新、大数据商务分析等，发表相关论文30余篇，其中SCI/SSCI检索10余篇，EI期刊12篇，CSSCI 1篇，曾经主持多个省部级项目。

刘伟星，中国科学院大连化学物理研究所博士，研究方向包括AR衍射光波导的光栅设计，包括效率、显示均匀性、成像质量优化、AR技术技术路线的探索和调研等。曾发表多篇相关论文及主导多个相关项目，且获已授权专利8项。

李庆普，上海理工大学博士，在虚拟现实领域有丰富的研究经验及项目实践经验，曾参与基于计算机触觉技术的虚拟医疗仿真技术研究、汽车模拟驾驶仿真研究、多体感VR硬件研发及VR实训安全教育等多个项目。其已发表多篇相关论文并取得多项专利。

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。

微美全息成立于2015年，纳斯达克股票代码：WiMi。

微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。