社区

今年以来，科技巨头们终于将目光投向了行业侧、端侧。360集团创始人、董事长周鸿祎曾指出，在具体的落地场景上，在把大模型做“大”的同时，做“小”也是一个重要的趋势，使大模型能够搭载在手机、电脑，各种物联网设备上，尤其是智能网联汽车，2024年将更多的搭载大模型。

IBM大中华区首席技术官、研发中心总经理谢东也曾公开表示，对于企业而言，应用模型的目的是希望其能以较低的成本，解决特定的问题，“对于企业级应用而言，模型反而是越小越好，因为越小越灵活，越小成本越低。”谢东如是说。

确实，通过今年各大厂商的动态不难看出，相较于模型参数的“大”，厂商们将更多的注意力集中在如何训练出“小”且垂直行业好用的模型。而大模型能力在诸如手机、电脑、汽车等端侧的应用落地，也成为当下科技巨头们聚焦的话题之一。

走向端侧的大模型需要“软硬兼施”

大模型真正在行业侧、端侧落地的过程中，无论是软件层面，还是硬件层面，都将迎来新一轮的变革。

从硬件角度出发，大模型除了对CPU、GPU等在内的众多芯片有着较高的要求和需求以外，对于设备的散热、连接等方面也有着与原先不同的高要求。

随着技术和社会，以及人工智能的发展，教育数字化对IT设备提出了新的需求，如何将AI芯片应用到教育设备中，赋能教育行业发展已经成为当下的热门话题，在英特尔中国区市场营销集团网络与边缘技术支持总监王景佳看来，AI技术可以有效帮助老师从过去比较传统的繁重工作当中脱身出来，更多关注于学生。AI技术也可以使老师和学生更加高效地互动，从而得到教学相长。借助AI技术，老师们还可以使整个学校做到因材施教，从而达到教育的目标。

以连接层面为例，企业在采购设备的时候，往往不会只采购一家的设备，这就对设备之间的兼容性，以及设备之间的连接/转换器都提出了更高的要求。而这个层面也成为建设行业生态过程中重要的一部分。

据悉，为了满足AI大模型想端侧落地的需求，日前，在第83届中国教育装备展示会期间，英特尔就联合合作伙伴共同发布全新OPS（Open Pluggable Specification，开放式可插拔规范）2.0。

英特尔网络与边缘事业部HEC中国区总经理陆英洁告诉钛媒体APP，全新OPS2.0规范的发布为AI大模型在端侧的部署提供了一套标准化的操作流程和接口，这有助于不同厂商和开发者之间的协作，推动AI大模型在端侧的广泛应用。

随着AI技术的不断发展，传统的端侧设备显然已经不能满足当下行业的需求，以交互式平板为例，传统的交互式平板更多的是要具备显示功能，但随着AI大模型向教育行业的渗透，交互式平板当下已经需要具备更多互动和助教的能力。比如需要具备师生协同，即看即所得、即写即显示的能力，不仅于此，在王景佳看来，随着技术的发展，端侧的IT设备要预留足够的扩展接口，为将来的技术和产品部署提供支撑和能力。

而刚刚发布的OPS2.0模块可以看作是一个可插拔的计算单元，在适配CPU、GPU等不同场景下，都具备了相应的扩展能力，“这点是OPS2.0与1.0相比，提升最大的地方之一。”王景佳强调。

除了硬件层面，软件层面的不断迭代，对于大模型在行业落地也起到了至关重要的作用。同样以教育行业为例，深圳市德晟达电子科技有限公司副总经理彭元涛告诉钛媒体APP，过去，很多交互式平板使用的是安卓的操作系统，但在实际教学中使用率，以及方便程度并不高。但是升级后的OPS2.0，可以兼容eDP，进一步简化大屏的硬件架构的同时，还降低了书写延迟，“现在，我们eDP可以通过OPS进行直连驱屏，通过软件优化的形式，让传输速度更高，延时更低。”彭元涛指出。

不仅于此，陆英洁告诉钛媒体APP，在软件工具层面，英特尔也打造了包括OpenVINO等在内的工具，以满足时下终端用户对于训练和推理的需求，“具体到大模型领域，英特尔也在跟不同通用ISV和行业ISV做一些大模型的探索和项目的优化。”陆英洁指出。

需求不断涌现，技术驱动发展

随着AI技术的不断发展，我们也看到了越来越多行业开始拥抱AI带来的红利，也将有越来越多的应用场景出现。同样以教育行业为例，当下教育数字化转型已经进入了AI赋能的阶段，师生之间需要的不仅是简单的显示，已经数字化教室，而是需要整个教学周期的数字化、智能化。

对于老师来说，老师们需要更精准、更细致的了解每个同学上课时的表现，课堂上与老师互动的数据，以及课后学习情况；

对于学生来说，学生渴望更真实的感受课本上的内容，需要每位同学都拥有一个随身相伴的专属老师，可以根据自身情况，定制专属的学习计划；

对于家长来说，家长希望可以通过简单明了的可视化数据，了解学生在校的表现，以及学习的情况，并可以通过简单的数字化工具与老师进行教学层面的交流.....

针对此，视源股份整机BG商用显示事业部总经理黄柏林指出，当下，老师面临着教学设计效率质量难保障，教学质量评估人工成本高，教研活动成果难量化，缺乏客观的课堂回顾依据等诸多难题。

上述提到的还仅仅是当下教育行业所面临的诸多需求的一小部分，随着AI技术在教育行业的逐步应用，这些需求也将一一得以满足。在黄柏林看来，这些都是当下教育行业切实的需求，要以技术驱动这些需求落地仍有很长的路要走。

黄柏林告诉钛媒体APP，未来，AI+教学的模式主要将展现在四个方面：备课助手、研讨增效、课堂反馈，以及学情评价。

备课助手方面，老师通过AI大模型的能力可以快速的生成课件，并进行课件美化，达到更好的授课效果。

研讨增效方面，老师可以通过语言大模型的能力，进行摘要整理，观点提炼等操作，减少了老师在研讨方面的工作量，提升了效率。

课堂反馈方面，老师可以根据NPU计算采集的课堂活动捕捉数据，并通过AI大模型的能力，深入分析每个学生的课堂表现，并对学生的表现进行智能反馈。

学情分析方面，在课后，老师可以根据综合的数据，对每位学生一节课、一天、一周，甚至一个学期的数据进行分析评估，用数据真实反映每个学生的学习情况，并进行作业的批改。

在黄柏林看来，这四个方面是未来教育与AI深度融合的主要方向。当然，这也离不开软件、硬件层面的协同发展，以及整个教育数字生态的建设。而OPS2.0的迭代，是大模型能力走向端侧过程中重要的一块拼图。（本文首发于钛媒体APP，作者 | 张申宇，编辑 | 盖虹达）