社区

我国现阶段经济的迅猛发展，这也意味着我国工程机械领域的相关企业的向上成长。在企业发展过程中，企业也在结合当下时髦、先进技术，加以探索，相当部分机械企业为有效解决市场售后服务、人员技术培训等面临的问题，提出以增强现实（Augmented Reality，AR）技术为基础的远程辅助维修、AR培训教学等系统解决方案。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们主要以 AR 技术为出发点，简述系统的组成和工作原理，并针对系统技术进行了详细设计，对企业的数字化售后服务能力起到了一定的促进作用。

工程机械行业快速发展，使其生产企业市场服务面临着诸多基于和挑战挑战。在新员工培训上，工程机械实体化教学无法面面俱到，或者是时间上无法兼顾，难以快速具体、详细的教授知识确保员工尽快上岗；在工程机械的施工现场，其设备机械故障造成的停机现象，因为售后服务有距离相对较远和专业人员不足等多方面的问题，难以第一时间保障服务的及时性和品质，导致用户体验相对较差。由于工程机械设备具有体积大、结构复杂和智能化程度较高的特点，机械设备的维护和保养难度越来越大，售后服务人员的水平要求也越来越高。随着现阶段5G 通信的应用，在增强现实（Augmented Reality，AR）技术的基础上研发远程辅助维修系统，可以利用远程专家指导、教学、维护和保养现场的设备，实现高效率和高质量的服务。

1.AR 与虚拟现实（VR）的区别

虚拟现实（Virtual Reality，VR）技术主要是在电脑中建立虚拟空间环境，利用视觉、触觉等多方面的感知方式实现模拟交互行为 。虚拟环境主要指在计算机图形和图像系统的基础上，结合现实和控制等各种设备，在计算机中生成可交互的三维环境。AR 主要是对现实环境和虚拟信息进行有效集成，在真实的图像世界中利用电脑合成加载虚拟信息，使人体的感官可以获取和接收其中的信息，以达到超越现实的感官体验。AR技术是计算机在现实影像上叠加相应的图像技术，利用虚拟世界套入现实世界并与之进行互动，达到“增强”现实的目的。VR技术是在计算机上生成一个三维空间，并利用这个空间提供给使用者关于视觉、听觉、触觉等感官的虚拟，让使用者仿佛身临其境一般。

2.系统组成

AR 系统的组成如图 1 所示，主要包括现场客户端（人员操作端）、云端服务平台以及后台专家服务端 3 个部分。现场客户端可以利用AR 眼镜获取服务项目中涉及到的相关数据信息和现场拍摄的音频、视频等信息，并以 4G、5G、Wi-Fi 和卫星网络等多种方式将获取的信息上传到云端服务平台，再由云端服务平台对现场上传的数据进行处理，这样专家就能第一视角看到现场基本情况设备信息，以达到现场和专家端的虚实结合以及实时交互的目的。现场客户端主要以 AR 智能眼镜为载体，利用开发的客户端 App ，提前内置相关的设备信息，通过摄像头获取和感知现场环境，利用网络上传现场采集到的音频和视频等信息，并将解析后的数据呈现给客户。

图一

 在云端服务器中，需要完成 AR内容传输服务、后台数据的管理、以及数据分析的功能服务。在处理数据的过程中，需要处理现场采集到的数据，使数据结构化如图2。云端服务平台包含账号登录、工单服务、设备数据、语音交互、视频交互、文字交互、图形标记、三维模型、文档共享、数据存储和 AR 引擎等基础功能。专家端主要利用开发的应用程序实现远程协助。

图二

3.系统技术设计

3.1 技术架构

AR 技术主要是以 AR 引擎技术为核心实现远程辅助维修的系统，其中包含了如图 2 所示的多个数据模块。基础数据读取模块能够有效兼容 FBX、OBJ、STL、RVT、MAX 和 3DS 等多种数据格式，还能够在设备中实时采集数据通信，并利用AR 技术实现数据和实时通信互相融合，最后输出可视化内容。AR 眼镜作为内容呈现的载体，可以呈现可视化的结果。

3.2关键技术

关键技术的实现包含信息交互技术、音视频传输技术、全息通信技术、多人协作技术、环境感知技术以及虚实融合技术等。

3.2.1 全息通讯技术

全息通信技术可以实现多人协同的信息共享和远程交互，从而构建一个多方位多终端的平台，如 VR 眼镜、头显、手机、平板和 PC 等，以实现不同终端设备中的通信信息传输。此种技术主要是对信息的整合和传输。信息整合时， 需要整合分析多人协同远程指导过程中所包含的信息，以满足不同终端设备的需求，然后将整合的信息压缩成为所需格式，再通过网络传输到远端设备中展示。展示内容包含原始影像、音视频信息、媒体资料以及多人之间的指令信息等。多媒体信息借助数据编码技术，能够实现信息矢量化的无损快速压缩，来保证信息互通之间的迅速有效性。

3.2.2 信息交互技术

信息交互技术主要是对远程协助的需求建立模型，实现客户端和平台端系统端的协议交互。进行远程协助的过程中，需要充分利用数据库进行数据互联，使现场端和专家端能够互相沟通。在现场端利用智能AR眼镜可以获取辅助的指导信息，如操作步骤和标注位置等，还能够直观呈现工程机械设备中的维修图纸和文档等相关的设计参数，有助于维修时快速响应和精准协助。

3.2.3 音视频的远程传输

现场端可以采集编码音视频信息，并根据码率要求将信息转换为编码音频或视频流，然后按照其封装方式封装。此技术在信道编码的基础上增强了无线信道传输性能，但信道输出的码流经过调整才可以传输。码流到达专家端后， 专家端将接收到的数据包处理之后解码成为音频信号。

3.2.4 远程双人或多人协作

信息传输主要是使 AR 信息在设备间传递，以达到远程交互的目的。在双人协作的过程中，利用简单高效的连接方式， 能够在两台设备之间实现传输控制协议（Transmission Control Protocol，TCP）和网络之间互连的协议（Internet Protocol， IP）的直接传输。在多人协同的过程中，系统会利用云服务方案保证系统效率，同时可以提供安全的数据传输环境。

3.2.5 环境识别技术

环境感知技术主要是识别和了解运行过程中客户端的环境状态，包含对目标物体以及设备的检测和跟踪监督。

3.2.6 虚拟显示融合

虚实融合技术主要指在终端设备中呈现系统输出的多媒体方式。要在多人协同操作平台中实现多个设备终端的操作，需要将各终端之间的AR 信息显示在不同的设备终端。在实现上述功能时，可以利用软件和硬件相结合的方式， 在软件方面建立虚拟信息和真实信息，实现几何的变化转换。在硬件方面，利用光学透视方式且具有融合机制的 AR 眼镜等设备完善技术装备。

3.3 案例参考应用平台

AR 技术应用在工程机械设备维修中，可以利用 AR 智能眼镜查看设备故障，为维修人员提供操作指导，使维修人员在系统帮助下完成维修维护工作，实现了操作过程的标准化和规范化。利用 AR 技术和设备系统监控数据，可以准确判断分析机械设备的运转状态，从而解决机械设备的故障问题，以实现设备的稳定。

4.结语

综上所述，在工程机械企业中，智能制造包含物联网、人工智能、人机交互、AR 和 VR 等技术，被广泛应用于企业研发、生产制造以及营销的各个方面。企业用户可以利用 AR 技术实现远程协作指导、维护保养等功能，降低了企业的资源投入，提升了服务质量，促进了品牌的影响力， 提高了企业的社会效益和经济效益。

微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：

一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学：脑机全息云、量子全息云、光电全息云

以下是微美全息科学院的部分科学家成员：

李徐周，山东大学计算机科学与技术学院博士，是模式识别与图像处理方向学术带头人。近年来一直从事模式识别与图像处理等领域的研究、开发与应用工作。曾参与国家自然科学基金重点项目和山东省自然科学基金重点项目等多项课题的研究工作。在模式识别、图像处理等方面打下良好的工作基础。近年来已在模式识别、图像处理等方向发表多篇学术论文。

郑玉洁，重庆大学博士学位，研究方向包括产品设计变更管理、VR/AR驱动商业模式创新，曾经主研的科研项目包括山东科技大学菁英计划的《基于VR/AR技术的复杂机械产品设计变更管理研究》、重庆大学汽车协同创新中心重点项目《VR/AR技术在汽车消费行为偏好挖掘中的应用及关键技术》及其他多项国家自然科学基金项目，也曾参与发表多篇期刊论文。

刘湘辉，国防科技大学计算机工程与科学专业博士，研究方向包括成像卫星任务规划、无线传感器网络以及公路工程管理软件应用等。曾参加多项国家自然科学基金，其中，其在无线传感器网络方面的相关研究论文曾被《计算机研究与发展》、《电子与信息学报》、《软件学报》以及若干国际会议录用和发表。

丁凯，华中科技大学电力电子与电力传动专业博士，香港理工大学研究员，研究方向包括电子电力学仿真技术，电动汽车、电池管理系统等，曾主导过多项相关的研究项目。

郭松睿，湖南大学计算机科学技术工学博士，曾在中科院科学计算国家重点实验室合现实技术研修班学习混合现实，增强现实技术，参与研发多个重点项目。

江涛，中国科学院沈阳自动化研究所博士，机器人学国家重点实验室，研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发，在2018年获得ICRCA-2018机器人EI国际会议"最佳论文奖"。

杨军超，重庆邮电大学通信与信息工程学院信息与通信工程专业博士研究生，华盛顿大学电子工程学院联合培养博士，长期研究虚拟现实、5G多媒体传输优化、基于MEC的智能转码优化，以第一作者发表SCI/EI论文6篇，中文核心1篇，申请专利4项。

李维娜，2017年博士毕业于韩国忠北国立大学的信息和通信工程学院。2017年8月去了新加坡的Singapore-MIT Alliance for research and technology centre(SMART)从事压缩全息（compressive digital holography）的博士后工作，2018年11月进入清华大学深圳国际研究生院的先进制造学部，在以前工作的基础上把数字全息（digital holography）拓展到机器学习（machinelearning）领域，特别是对U型网络（U-net）的改进和应用。在上述研究领域以第一作者发表高水平论文5篇，以第二作者发表的高水平论文2篇。

曲晓峰，香港理工大学博士，现任清华大学深圳研究生院博士后，主要研究生物特征识别、机器视觉、模式识别，与绿米联创合作进行嵌入式产品算法、深度学习应用、图像与视频相关算法以及生物特征识别相关产品的开发。

危昔均，香港理工大学康复治疗科学系博士，南方医科大学深圳医院虚拟现实康复实验室负责人，主要研究基于虚拟现实技术的康复系统搭建及相关临床和基础研究。

单羽，昆士兰科技大学数字媒体研究中心（澳大利亚）博士，研究方向为虚拟现实娱乐产业与亚洲创意经济，曾参加多场虚拟现实产业的国际学术会议并发表主题演讲，发表多篇以“虚拟现实艺术”相关的学术论文，并参与国内多个虚拟现实娱乐产业领域的项目研究。

刘超，新加坡南洋理工大学博士，是深圳市南山区领航人才，深圳市海外高层次人才孔雀计划C类,Molecular Physics 2011年度最佳年轻作者提名，主要研究方向为人工智能预测过渡金属氢化物金属氢键键长与解离能和环式加成反应中量子力学/分子力学反应机理研究，曾参与过流程模拟软件的开发与研究。

张婷，美国西北大学博士后，香港大学博士，海外高层次人才孔雀计划C类，主要从事VR/MR关键技术研发应用和复杂服务系统优化等研究，发表全息专利5项。获全国＂挑战杯＂创业计划大赛湖北省一等奖，华中科技大学一等奖。

姚卫，湖南大学计算机科学与技术工学博士，主要研究方向：忆阻神经网络及其动力学行为，应用于：图像处理、安全通信。基于VDCCTA具有长时记忆特性的忆阻器电路及其构成的神经网络。参与设计基于忆阻器的神经网络系统模型。基于忆阻器的仿生物神经元和突触连接的微电子电路设计，参与基于忆阻器的神经网络系统模型的设计与动力学行为的分析。

彭华军，博士，毕业于香港科技大学显示技术研究中心（CDR），从事硅基液晶器件、AMOLED材料与器件、TFT器件、显示光学等研发工作。彭博士一直从事信息显示领域前沿工作，涵盖电视图像色彩管理、AMOLED生产制造、微显示芯片设计与制造、投影与近眼显示光学等。彭博士在国际刊物上发表20篇文章。已申请近50项中国发明和美国发明专利，其中10项美国专利和20项中国发明专利获得授权。

刘云，浙江大学电力系统及其自动化工学博士，美国中佛罗里达大学电气工程和计算机科学联合培养博士，曾为新加坡南洋理工大学能源研究中心博士后研究员，是深圳市南山区C类“领航人才”、深圳市海外高层次人才C类，主要研究方向包括微网/主动配网分布式优化控制等。参与发表过多篇相关领域期刊论文和会议论文，联合发明专利一项，曾做过多场专业学术报告，参与/主持多项科研项目，包括图像信息处理与智能控制教育部重点实验室开放基金(IPIC2019-02),多能源集成优化调度等。

胡国庆，北京大学电子学系博士、博士后，北京大学深圳研究院副研究员，北京大学深圳研究院5G课题组组长，北京大学深圳系统芯片设计重点实验室副主任，深圳市高层次专业人才，广东省百名博士博士后创新人物，深圳市南山区“十大南山好青年”，深圳市新兴战略产业博士专家联谊会创始发起人、副会长兼执行秘书长，深圳5G产业协会专家委员会副主任，深圳5G产业联盟专家委员会副主任，深港澳博士专家联盟副秘书长，朴素资本首席信息技术顾问。拥有副研究员、高级工程师两个高级职称，一个客座教授荣誉称号。参著学术专著一部，发表SCI/EI/ISTP等高质量学术论文40余篇，申请发明专利17项；主持国家及省市级科研项目六项，参研国家级项目十余项。

袁志辉，中国科学院大学（中国科学院电子学研究所），通过硕博连读获得通信与信息系统专业博士学位，主要研究方向：（1）InSAR信号处理；（2）信号分析与处理。现主持国家自然科学基金项目1项，湖南省自然科学基金项目1项，主持湖南省教育厅科学研究项目2项；先后参与国家自然科学基金、湖南省自然科学基金和省教育厅重点科研项目等5项；目前获专利授权2项；在国内外重要学术期刊上发表论文十余篇，其中SCI收录9篇，并担任过IEEE GRSM、TGRS、JSTARS、Access、Letters、SPL和JARS等国际遥感类和信号处理类权威期刊的审稿人。

彭福来，北京理工大学电子科学与技术专业的工学博士。长期从事电子信息、人工智能、大数据处理、医学信号处理等领域的研究工作。作为负责人或骨干人员先后参与国家重点研发计划、国家自然科学基金、装备发展部、省自然科学基金、济南市高校团队人才等重大科研项目。在电子信息、人工智能、大数据处理、医学信号处理分析、生理信号检测等方面具备丰富的研究开发经验。发表论文10余篇，申请专利20余项。

林炯康，香港理工大学电力电子与电力传动专业博士，主要研究方向为工业VR引擎等。曾在诺丁汉大学电子与电机工程系负责控制算法的研究和测试，软件的开发与维护等。发表SCI论文多篇。

张铸，香港理工大学电气工程系博士，研究项目包括VR工业培训系统设计，电机控制器设计与优化等，且参与了多项国家自然科学基金的项目，取得多项相关科技成果，包含一项发明专利、三项实用新型专利和两项软件著作权。

徐翠东，香港理工大学博士，研究方向包括电气工程、电力电子的智能应用等，曾为香港理工大学电机工程系电力电子研究中心研究员，IET电力电子评论家，曾主导多项相关的研究项目，参与发表多篇期刊论文和会议论文。

李社，哈尔滨工业大学博士，主要研究方向为手性光子晶体、手性光子晶体光纤及传感。参与国家自然基金、黑龙江省基金等多项项目，发表论文多篇，其中SCI检索3篇，EI一篇。获黑龙江省科技进步奖二等奖一项。

乔牧，哈尔滨工程大学博士，研究方向包括VR设计原理等，发表过多篇科技论文，参与了多项科研项目，包括国家自然基金项目、黑龙江省教育厅科研项目等，曾取得三项科技奖励，获得两项实用新型专利和一项发明专利。

滕达，中国铁道科学研究院博士，研究方向包括计算机科学与技术自然语言处理、信息工程及控制等，曾主持多项相关课题的研究，参与发表多篇学术论文，已申请发明专利3项。

田雪松，哈尔滨工业大学博士，研究方向包括图形图像光电信息处理及传感技术、量子通讯电子物理研究、激光防护用氧化钒薄膜性能研究等，曾发表多篇相关学术论文，曾参与多个国防科技预研跨行业综合技术项目。

朱学群，北京林业大学博士，具备交叉学科背景，擅长数理统计、量化分析、科学管理，主导多个重点全息AR项目实施，在材料、显示理论与研究很深的行业经验，是新华网中国双创导师、北京市海归科协双创导师。

李迁，北京科技大学博士，研究方向包括材料加工分析、镀膜、工业VR等，在激光共聚焦显微镜、扫描电镜、透射电镜等进行深入研究，对于分子材料、材料连接技术方向曾参与发表多篇相关论文。

赫万佳，香港理工大学博士，主要研究基于虚拟现实技术的康复系统及相关临床和基础研究，曾参与发表多篇相关论文及多个相关项目的研究。

周福礼，重庆大学博士，为国际学术协会会员。主要研究方向包括VR/AR驱动商业模式创新、大数据商务分析等，发表相关论文30余篇，其中SCI/SSCI检索10余篇，EI期刊12篇，CSSCI 1篇，曾经主持多个省部级项目。

刘伟星，中国科学院大连化学物理研究所博士，研究方向包括AR衍射光波导的光栅设计，包括效率、显示均匀性、成像质量优化、AR技术技术路线的探索和调研等。曾发表多篇相关论文及主导多个相关项目，且获已授权专利8项。

李庆普，上海理工大学博士，在虚拟现实领域有丰富的研究经验及项目实践经验，曾参与基于计算机触觉技术的虚拟医疗仿真技术研究、汽车模拟驾驶仿真研究、多体感VR硬件研发及VR实训安全教育等多个项目。其已发表多篇相关论文并取得多项专利。

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。

微美全息成立于2015年，纳斯达克股票代码：WiMi。$微美全息(WIMI)$ 

微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。