编辑|星奈 媒体|AI大模型工场 谈到大模型私有化部署,很多人会首先想到数据中心,以为动辄就得使用很多台服务来支撑。一些中小企业或者应用部门,主要做知识库和智能体方向的应用,模型大小基本在70B以内。只要搭配合理,用本地的专业工作站同样可以训练推理,算得上极具性价比的方案了。 随着OpenAI o1-preview的发布,大模型已经越发成熟,距离走入企业生产应用已经很近了。但OpenAI提供访问的次数非常有限,这给企业用户的AI应用普及带来了一定的费用焦虑和困扰。为了应对日益增长的访问频率需求,越来越多的企业用户倾向于大模型的本地化部署。大模型本地部署可以极大地降低数据泄漏的风险,而且系统响应速度和实时性更强,在一些需要快速反馈的场景里优势非常明显,同时也能应对企业个性化需求。 通过在传统数据中心上进行本地大模型部署的方法,会对IT设施带来比较大的挑战,因为从计算资源来说,很多企业的数据中心计算资源很紧张,而且扩展成本比较高,甚至有些中小企业还不具备搭建数据中心的能力。所幸的是,对于知识库等企业级AI 应用来说,完全可以用高配的AI工作站来应对计算需求,以经济高效的方式减轻对数据中心计算资源的压力,从而降低云服务的成本支出。 这次我们选用的是Dell Precision 7960 Tower,搭载了4张「NVIDIA RTX 5880 Ada 」显卡,每张显卡显存48GB,相当于在1台工作站里就能最多有192GB显存,完全可以部署Llama3.1 70B模型。 Dell Precision 7960 Tower 70B模型拥有700亿参数量,在语言理解和生成方面具有显著优势,已经能够满足常见的企业级AI应用,比如知识库应用、对话问答