信创模盒ModelHub XC适配模型25000+ 完成智谱GLM-5模型部署
今天，范式旗下信创模盒ModelHub XC完成智谱GLM-5模型在天数智芯天垓150上的部署与验证，并将于近日上线。同时，平台上模型的适配认证数量已超过25000个。
GLM-5在国产硬件上的部署实践
本次部署以GLM-5-INT4-Pack8量化模型为核心，依托Docker容器化技术，采用vLLM推理框架，并启用pipeline-parallel与tensor-parallel分布式并行策略，最终对外提供标准OpenAI Chat Completions API服务。
部署过程中，通过INT4量化技术对模型权重压缩，降低显存占用，并用Pack8技术提升访存效率与计算吞吐。推理层面采用vLLM框架的显存管理技术与迭代级动态调度机制，减少显存碎片，实现请求级的持续批处理。同时结合张量并行与流水线并行，在多卡环境下进行计算与通信重叠。
此次部署验证了国产天数智芯硬件与大模型主流推理框架的深度适配性，实现从模型量化、容器化封装到高性能推理的全链路自主可控，为后续基于信创环境的AI应用开发提供可靠的技术范式。
平台生态协同突破：适配模型数量突破25000个
截至目前，信创模盒ModelHub XC已完成超过25000个大模型的适配认证，覆盖**、摩尔线程、天数智芯、海光等主流国产芯片。其中，**系列累计适配模型超过13000个，摩尔线程MTT S4000等芯片适配模型超过6000个，天数智芯系列适配模型突破3000个，海光AI加速卡适配模型超过1500个。
模型架构层面，平台已完成对Qwen2、GLM-4、DeepSeek-V2、Llama3、InternLM2等最新一代模型体系的适配，支持多模态、长文本、强化推理等能力。
未来，范式将持续进行模型推理性能的优化，推进信创硬件与AI框架的适配工作。
免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。
