社区

近年来，随着计算、通信等技术的快速发展及5G网络的高速部署，虚拟现实(virtual reality,VR)应用蓬勃发展。其中，全景视频(panoramic video)，又被称为360度视频(360-degree video)或沉浸式视频(immersive video)，作为虚拟现实应用的重要组成部分之一，在学术研究领域和工业应用领域都备受关注。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们对全景视频进行深入研究。

对根据调研数据显示，全景视频的市场占有率在2018年至2024年期间将以34%的年平均增长率持续增长。国际知名投行Goldman Sachs也曾分析报告，基于全景视频的VR业务增长迅速，占VR应用领域预期总用户数(1亿3千万)的40%，预估到2025年，VR全景视频用户量会达到近2亿。

不同于仅呈现在二维平面上的传统视频，作为一种新型的沉浸式媒体应用，全景视频允许用户在360×180度的球形视频内获取全方位场景，并在播放过程中随意切换当前视野(Field of view,FOV)。现如今，用户可以使用计算机、智能手机、头戴式显示设备(head mounted display,HMD)等播放全景视频。为了给用户营造更好的全景视频质量体验(quality ofexperience,QoE)，视野范围增大的同时也意味着更高的分辨率要求和带宽需求。就入门级全景视频而言，全画面分辨率为8K(7680×4320)，单眼分辨率为1920×1920,其网络带宽需求约为100Mbps。如此巨大的数据量传输是一项艰巨挑战。

对此，早于2018年，运动图像专家组(Moving Picture ExpertsGroup,MPEG)便针对全景视频展开标准化工作(MPEG-I)，联合视频研究组(Joint Video Exploration Team,JVET)也在高效视频编码(high efficiency video,HEVC)中引入全景视频传输的相关支持。

1、全景视频与传统视频的区别

全景视频与传统视频截然不同的地方在于，全景视频不同传统视频的整体呈现，由于其全范围而用户的市场有限，因此用户只能观看到当前画面某一小部分画面。为了在节省带宽的基础上提供高速流畅、高分辨率的视频，全景视频传输成为了现今的研究热点。与传统视频相比，全景视频有以下优势：

（1）极强的交互性

在VR全景视频场景中可以插入文字、图表、照片、网页等交互内容，让视频体验者与提前设定的展示内容进行深度互动，有效提升视频内容的吸引力与感染力。

（2）加强带入感

在传统的视频拍摄中，可以根据视频内容随意切换各种拍摄镜头。但是VR全景视频是以第一人称代入，观看者会置身于一个“真实”的环境之中，操控非常方便，全景上下视角不受限制，进而产生极强的场景带入感。

（3）全新的数字营销模式

VR全景技术时代已经开启，为各大企业提供了一种新型的营销服务模式。更多的企业将从平面时代进入三维虚拟数字时代，相信数字营销必将改变传统的商业模式，为企业的发展创造出全新的产业价值。

VR全景视频加上3D效果能带来沉浸感，相比传统视频已经有了质的飞跃，应用领域也非常广阔，值得我们去尝试和探索。

2.VR全景视频传输研究展望

（1）全景视频映射格式的选择对于编码以及其他部分有着显著影响，其相关研究已经从最初的ERP单面映射发展到如今的多方面考虑权衡，但仍面临的一个重要挑战是映射过程中存在的过采样或欠采样等问题。在这种情况下，内容特征、物体运动、视口预测、用户行为特征等元素被纳入到映射格式的考虑范围，通过向视口、显著性元素分配更多的像素，在保证带宽利用的基础上增强映射功能。例如CHEC映射即在HEC映射的基础上，通过结合内容特征以进一步提高映射效率。

（2）由于全景视频的高分辨率，编解码器两端存在巨大的数据压缩以及计算复杂度，这导致全景视频的编解码相关技术还有许多问题存在。因此新的视频编解码技术有待开发，以获取更高效率压缩、更低时延和无缝画面切换，从而提供更高质量的用户体验质量。在编解码改进过程中，运动估计自适应、采样密度矫正、重投影、帧内预测等方法被考虑在内。此外，基于Tile的HEVC设计可以实现编码器和解码器的高级并行，为编解码技术开发提供了新一思路。

（3）在现有的全景视频质量评估方法中，主观质量评估为数据集提供主观质量分数，客观质量评估旨在预测主观质量分数，各有特点和优势。主观评估所需的测试协议标准化定义体系，在大规模数据集情况下客观评估有效性的统计分析，不同用户在不同量表中的质量评估统计等都是亟待解决的问题。目前大多数质量评估主要考虑从相机运动轨迹和视频内容特征对于质量评估的影响，其他因素也非常重要，如晕屏症、用户生理症状、用户性别年龄等用户因素；显示设备、虚拟现实音视频等设备因素；网络延迟、画面抖动等网络因素；相机运动、帧速率、映射编码等视频内容因素；视口预测误差、回放缓存等视频传输因素。现有的数据中心模拟用户注意力分布方法得到了较好的效果，而感知方法通常具有更好的性能，但存在过度拟合的风险，将采样和感知结合使用可以被视为未来的研究趋势。随着视口的引入，将视口内容和球体全面内容综合考虑也是方向之一。

​（4）基于Tile传输的研究是当今主流，能够针对用户的视口以不同质量传输切片，从而在保证高分辨率的同时降低带宽消耗率。由于用户头部运动在观看中非常多变，现有的基于Tile的方法还不足应对复杂的视口变化，因此应在优先全景视频分发的情况下考虑切片的交互式选择，例如在传输中动态选择Tile的数量，或者以动态调整切片大小的方式以应对不同的网络条件，也可以利用深度强化学习进行切片的预取调度。此外，对于多路径的高分辨率切片传输，可以在预防无序交付的情况下，通过最佳可用路径按等级次序提供高优先级切片。然而，不同质量级别的Tile显示会造成画面尤其是边界处伪影，通过增加Tile数量或质量等级提升质量过渡平滑度，对于提高用户的观看体验具有重要意义。

（5）视口预测工作的进步可以在很大程度上优化映射和传输等关键步骤。当前基于轨迹的视口预测方案可以以合理的精度预测视口，并且预测时长最长可达10秒，而基于内容的视口预测方案则是在准确度上有所提升，但是二者并未达到一个高质量水平。因此，对于长期预测误差，可以利用视频图像的时间和空间特征，并采用合适的编解码器和卷积LSTM体系结构判断用户的位置信息。基于显著性特征、用户感兴趣区域检测以及用户的头部运动轨迹则为视口预测的参考因素增加了研究方向。

微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：

一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学：脑机全息云、量子全息云、光电全息云

以下是微美全息科学院的部分科学家成员：

李徐周，山东大学计算机科学与技术学院博士，是模式识别与图像处理方向学术带头人。近年来一直从事模式识别与图像处理等领域的研究、开发与应用工作。曾参与国家自然科学基金重点项目和山东省自然科学基金重点项目等多项课题的研究工作。在模式识别、图像处理等方面打下良好的工作基础。近年来已在模式识别、图像处理等方向发表多篇学术论文。

郑玉洁，重庆大学博士学位，研究方向包括产品设计变更管理、VR/AR驱动商业模式创新，曾经主研的科研项目包括山东科技大学菁英计划的《基于VR/AR技术的复杂机械产品设计变更管理研究》、重庆大学汽车协同创新中心重点项目《VR/AR技术在汽车消费行为偏好挖掘中的应用及关键技术》及其他多项国家自然科学基金项目，也曾参与发表多篇期刊论文。

刘湘辉，国防科技大学计算机工程与科学专业博士，研究方向包括成像卫星任务规划、无线传感器网络以及公路工程管理软件应用等。曾参加多项国家自然科学基金，其中，其在无线传感器网络方面的相关研究论文曾被《计算机研究与发展》、《电子与信息学报》、《软件学报》以及若干国际会议录用和发表。

丁凯，华中科技大学电力电子与电力传动专业博士，香港理工大学研究员，研究方向包括电子电力学仿真技术，电动汽车、电池管理系统等，曾主导过多项相关的研究项目。

郭松睿，湖南大学计算机科学技术工学博士，曾在中科院科学计算国家重点实验室合现实技术研修班学习混合现实，增强现实技术，参与研发多个重点项目。

江涛，中国科学院沈阳自动化研究所博士，机器人学国家重点实验室，研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发，在2018年获得ICRCA-2018机器人EI国际会议"最佳论文奖"。

杨军超，重庆邮电大学通信与信息工程学院信息与通信工程专业博士研究生，华盛顿大学电子工程学院联合培养博士，长期研究虚拟现实、5G多媒体传输优化、基于MEC的智能转码优化，以第一作者发表SCI/EI论文6篇，中文核心1篇，申请专利4项。

李维娜，2017年博士毕业于韩国忠北国立大学的信息和通信工程学院。2017年8月去了新加坡的Singapore-MIT Alliance for research and technology centre(SMART)从事压缩全息（compressive digital holography）的博士后工作，2018年11月进入清华大学深圳国际研究生院的先进制造学部，在以前工作的基础上把数字全息（digital holography）拓展到机器学习（machinelearning）领域，特别是对U型网络（U-net）的改进和应用。在上述研究领域以第一作者发表高水平论文5篇，以第二作者发表的高水平论文2篇。

曲晓峰，香港理工大学博士，现任清华大学深圳研究生院博士后，主要研究生物特征识别、机器视觉、模式识别，与绿米联创合作进行嵌入式产品算法、深度学习应用、图像与视频相关算法以及生物特征识别相关产品的开发。

危昔均，香港理工大学康复治疗科学系博士，南方医科大学深圳医院虚拟现实康复实验室负责人，主要研究基于虚拟现实技术的康复系统搭建及相关临床和基础研究。

单羽，昆士兰科技大学数字媒体研究中心（澳大利亚）博士，研究方向为虚拟现实娱乐产业与亚洲创意经济，曾参加多场虚拟现实产业的国际学术会议并发表主题演讲，发表多篇以“虚拟现实艺术”相关的学术论文，并参与国内多个虚拟现实娱乐产业领域的项目研究。

刘超，新加坡南洋理工大学博士，是深圳市南山区领航人才，深圳市海外高层次人才孔雀计划C类,Molecular Physics 2011年度最佳年轻作者提名，主要研究方向为人工智能预测过渡金属氢化物金属氢键键长与解离能和环式加成反应中量子力学/分子力学反应机理研究，曾参与过流程模拟软件的开发与研究。

张婷，美国西北大学博士后，香港大学博士，海外高层次人才孔雀计划C类，主要从事VR/MR关键技术研发应用和复杂服务系统优化等研究，发表全息专利5项。获全国＂挑战杯＂创业计划大赛湖北省一等奖，华中科技大学一等奖。

姚卫，湖南大学计算机科学与技术工学博士，主要研究方向：忆阻神经网络及其动力学行为，应用于：图像处理、安全通信。基于VDCCTA具有长时记忆特性的忆阻器电路及其构成的神经网络。参与设计基于忆阻器的神经网络系统模型。基于忆阻器的仿生物神经元和突触连接的微电子电路设计，参与基于忆阻器的神经网络系统模型的设计与动力学行为的分析。

彭华军，博士，毕业于香港科技大学显示技术研究中心（CDR），从事硅基液晶器件、AMOLED材料与器件、TFT器件、显示光学等研发工作。彭博士一直从事信息显示领域前沿工作，涵盖电视图像色彩管理、AMOLED生产制造、微显示芯片设计与制造、投影与近眼显示光学等。彭博士在国际刊物上发表20篇文章。已申请近50项中国发明和美国发明专利，其中10项美国专利和20项中国发明专利获得授权。

陈能军，中国人民大学经济学博士、上海交通大学应用经济学博士后，广东省金融创新研究会副秘书长、广东省国际服务贸易学会理事。主要从事文化科技和产业经济的研究，近年来在版权产业领域研究方面有较好的建树。近年来先后主持、主研“5G时代的数字创意产业：全球价值链重构和中国路径”“深圳加快人工智能产业发展研究”“贸易强国视角下中国版权贸易发展战略研究”，“文化科技融合研究：基于版权交易与金融支持的双重视角”等省部级课题多项，并在《商业研究》《中国流通经济》《中国文化产业评论》等核心期刊发表论文多篇。

潘剑飞，香港理工大学博士学位，现为广东省高校“千百十工程”人才，深圳市海外高层次人才，深圳市高层次人才、深圳大学优秀学者。研究领域主要为自动化+VR应用、先进数字化制造、数字制造全息孪生工厂、机器人等。主持多项国家自然科学基金项目、广东省科技计划项目和广东省自然科学基金项目。

杜玙璠，北京交通大学光学工程博士，取得与显示产品相关专利20余项，发表期刊文章3篇，曾打造全球最高分辨率的8K*4K的VR产品，并提出了采用光场显示技术，解决VR辐辏冲突问题；推出首款国产化率100%的单目AR眼镜，第一次联合提出基于未来空间信息的非接触式交互的操作系统概念（System On Display），在运营商体系进行虚拟现实数字产业合作。

伍朝志，深圳大学光机电工程与应用专业博士，研究方向主要为精密/微细电解加工，发表过多篇期刊论文和会议论文，获得三项相关专利，曾参与国家重点研发计划、国家自然科学基金重大研究计划重点项目等。

丁茹，中国社会科学院，数量经济研究所的技术经济及管理博士，从事大数据与数字经济、创新发展研究、科研项目管理等领域，主要研究领域为科技服务、产业经济研究、技术创新与创业。任山东省技术市场协会副秘书长，擅长整合创新资源、拓展创新业务和创新产业规划和产业经济，参与虚拟现实技术应用方面的相关创新研究和产业资源对接。

翟振明，美国肯塔基大学博士毕业，为广州大学R立方研究所所长、中山大学博导、人机互联实验室主任，曾撰写英文专著《Get Real:A Philosophical Adventure in Virtual Reality》，该书对虚拟现实和扩展现实发展趋势进行技术迭代预言并得到相关印证，此著作被美国评论者认为“有可能在虚拟现实技术和哲学两个领域都成为里程碑性的著作”。其设计创建中山大学人机互联实验室，其中的“虚拟与现实之间无缝穿越体验系统”已在国内外产生广泛影响。其首创了虚拟现实作为逆向艺术的概念，为虚拟世界的艺术与人文理性做出了突出贡献。

谭昕，副教授，主要研究全息虚拟现实应用设计等战略新兴产业相关课程，是数字媒体艺术设计专业主任，担任国泰安教育技术有限公司名誉顾问；受聘深圳市文化广电旅游体育局文化产业专家库专家；受聘深圳市龙岗区文化创意产业专家库专家；担任重庆青年职院项目化课程重构指导指导专家。曾主编《虚拟现实应用设计》。

陆建勋，深圳大学工学博士，其主要产学研方向为虚拟现实技术应用、智能制造技术及相关设备开发等，在相关领域有着广泛而深刻的研究，并发表过多篇期刊论文，曾参与了国家自然科学基金项目、广东省自然科学基金项目和深圳市知识创新基础研究等项目。

张鑫，湖南大学计算机科学与技术工学博士，主要研究硬件电路前后仿真，并进行实际的芯片设计工作，有丰富的整套流流程的经验，如集成电路设计、性能仿真、版图设计、版图验证、前后仿真、流片及封装测试等。曾参与过多项国家自然科学基金项目，发表多篇相关学术论文，多次参加相关领域的学术会议。

洪岳，瑞典乌普萨拉大学工程科学学院博士，现为深圳大学全息计算机技术、光电通信技术助理教授。研究方向包括全息计算机科学、半导体光电、自动化与信息工程、通信系统等等。曾参与发表相关研究领域的多篇期刊论文和会议论文。

张伟略，昆士兰科技大学博士，研究方向主要有沉浸式现场娱乐，跨文化研究、用户体验、本地化策略、沉浸式戏剧等等，其拥有众多光路设计作品，曾获2014上海青年创意基金相关奖项。

王璨，哈尔滨工业大学电气工程博士,德国慕尼黑工业大学,电力电子与电力传动研究所,联合培养博士。研究领域有电力电子工业VR技术应用、新一代全息孪生工厂技术、工业4.0等。曾参与国家自然科学基金委联合基金重点支持项目、国家自然科学基金委青年项目、广东省自然科学基金委面上项目等。发表了多篇相关领域的期刊论文，联合取得相关专利3项。

刘艺涛，新加坡南洋理工大学电气与电子工程学院博士，曾为新加坡南洋理工大学，罗尔斯•罗伊斯-南洋理工大学联合实验室博士后。曾主持国家自然科学基金青年项目、广东省科技厅博士启动项目、深圳市基础研究等项目。参与发表过多篇相关领域的学术论文。

刘云，浙江大学电力系统及其自动化工学博士，美国中佛罗里达大学电气工程和计算机科学联合培养博士，曾为新加坡南洋理工大学能源研究中心博士后研究员，是深圳市南山区C类“领航人才”、深圳市海外高层次人才C类，主要研究方向包括微网/主动配网分布式优化控制等。参与发表过多篇相关领域期刊论文和会议论文，联合发明专利一项，曾做过多场专业学术报告，参与/主持多项科研项目，包括图像信息处理与智能控制教育部重点实验室开放基金(IPIC2019-02),多能源集成优化调度等。

胡国庆，北京大学电子学系博士、博士后，北京大学深圳研究院副研究员，北京大学深圳研究院5G课题组组长，北京大学深圳系统芯片设计重点实验室副主任，深圳市高层次专业人才，广东省百名博士博士后创新人物，深圳市南山区“十大南山好青年”，深圳市新兴战略产业博士专家联谊会创始发起人、副会长兼执行秘书长，深圳5G产业协会专家委员会副主任，深圳5G产业联盟专家委员会副主任，深港澳博士专家联盟副秘书长，朴素资本首席信息技术顾问。拥有副研究员、高级工程师两个高级职称，一个客座教授荣誉称号。参著学术专著一部，发表SCI/EI/ISTP等高质量学术论文40余篇，申请发明专利17项；主持国家及省市级科研项目六项，参研国家级项目十余项。

袁志辉，中国科学院大学（中国科学院电子学研究所），通过硕博连读获得通信与信息系统专业博士学位，主要研究方向：（1）InSAR信号处理；（2）信号分析与处理。现主持国家自然科学基金项目1项，湖南省自然科学基金项目1项，主持湖南省教育厅科学研究项目2项；先后参与国家自然科学基金、湖南省自然科学基金和省教育厅重点科研项目等5项；目前获专利授权2项；在国内外重要学术期刊上发表论文十余篇，其中SCI收录9篇，并担任过IEEE GRSM、TGRS、JSTARS、Access、Letters、SPL和JARS等国际遥感类和信号处理类权威期刊的审稿人。

彭福来，北京理工大学电子科学与技术专业的工学博士。长期从事电子信息、人工智能、大数据处理、医学信号处理等领域的研究工作。作为负责人或骨干人员先后参与国家重点研发计划、国家自然科学基金、装备发展部、省自然科学基金、济南市高校团队人才等重大科研项目。在电子信息、人工智能、大数据处理、医学信号处理分析、生理信号检测等方面具备丰富的研究开发经验。发表论文10余篇，申请专利20余项。

林炯康，香港理工大学电力电子与电力传动专业博士，主要研究方向为工业VR引擎等。曾在诺丁汉大学电子与电机工程系负责控制算法的研究和测试，软件的开发与维护等。发表SCI论文多篇。

张铸，香港理工大学电气工程系博士，研究项目包括VR工业培训系统设计，电机控制器设计与优化等，且参与了多项国家自然科学基金的项目，取得多项相关科技成果，包含一项发明专利、三项实用新型专利和两项软件著作权。

徐翠东，香港理工大学博士，研究方向包括电气工程、电力电子的智能应用等，曾为香港理工大学电机工程系电力电子研究中心研究员，IET电力电子评论家，曾主导多项相关的研究项目，参与发表多篇期刊论文和会议论文。

李社，哈尔滨工业大学博士，主要研究方向为手性光子晶体、手性光子晶体光纤及传感。参与国家自然基金、黑龙江省基金等多项项目，发表论文多篇，其中SCI检索3篇，EI一篇。获黑龙江省科技进步奖二等奖一项。

乔牧，哈尔滨工程大学博士，研究方向包括VR设计原理等，发表过多篇科技论文，参与了多项科研项目，包括国家自然基金项目、黑龙江省教育厅科研项目等，曾取得三项科技奖励，获得两项实用新型专利和一项发明专利。

滕达，中国铁道科学研究院博士，研究方向包括计算机科学与技术自然语言处理、信息工程及控制等，曾主持多项相关课题的研究，参与发表多篇学术论文，已申请发明专利3项。

田雪松，哈尔滨工业大学博士，研究方向包括图形图像光电信息处理及传感技术、量子通讯电子物理研究、激光防护用氧化钒薄膜性能研究等，曾发表多篇相关学术论文，曾参与多个国防科技预研跨行业综合技术项目。

朱学群，北京林业大学博士，具备交叉学科背景，擅长数理统计、量化分析、科学管理，主导多个重点全息AR项目实施，在材料、显示理论与研究很深的行业经验，是新华网中国双创导师、北京市海归科协双创导师。

李迁，北京科技大学博士，研究方向包括材料加工分析、镀膜、工业VR等，在激光共聚焦显微镜、扫描电镜、透射电镜等进行深入研究，对于分子材料、材料连接技术方向曾参与发表多篇相关论文。

赫万佳，香港理工大学博士，主要研究基于虚拟现实技术的康复系统及相关临床和基础研究，曾参与发表多篇相关论文及多个相关项目的研究。

周福礼，重庆大学博士，为国际学术协会会员。主要研究方向包括VR/AR驱动商业模式创新、大数据商务分析等，发表相关论文30余篇，其中SCI/SSCI检索10余篇，EI期刊12篇，CSSCI 1篇，曾经主持多个省部级项目。

刘伟星，中国科学院大连化学物理研究所博士，研究方向包括AR衍射光波导的光栅设计，包括效率、显示均匀性、成像质量优化、AR技术技术路线的探索和调研等。曾发表多篇相关论文及主导多个相关项目，且获已授权专利8项。

李庆普，上海理工大学博士，在虚拟现实领域有丰富的研究经验及项目实践经验，曾参与基于计算机触觉技术的虚拟医疗仿真技术研究、汽车模拟驾驶仿真研究、多体感VR硬件研发及VR实训安全教育等多个项目。其已发表多篇相关论文并取得多项专利。

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。

微美全息成立于2015年，纳斯达克股票代码：WiMi。$微美全息(WIMI)$ 

微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。