案例简介 • 本案例通过NVIDIA RIVA平台,平安科技智能服销应用组自主研发了智能客服系统,集成了语音识别、语音合成、语义理解三大智能引擎,以智能语音机器人替代传统的真人客服,实现自然的语音人机交互。 • 本案例主要应用到NVIDIA RIVA平台、NVIDIA NEMO模型训练平台。 Case Introduction • In this case, through the NVIDIA RIVA platform, Ping An Technology’s intelligent service sales application group independently developed an intelligent customer service system, which integrates three intelligent engines: speech recognition, speech synthesis, and semantic understanding. The intelligent voice robot replaces the traditional human customer service to achieve natural voice and human-computer interaction. • The major products utilized in the case are NVIDIA RIVA platform and NVIDIA NEMO model training platform. 客户简介及应用背景 平安科技是平安集团旗下的全资子公司,运用人工智能、智能认知、云计算、区块链等技术,实现对平安集团旗下的产险、寿险、银行
案例简介 • 本案例中通过使用NVIDIA T4 GPU和TensorRT,OpenGL,CUDA, CUDA/OpenGL interoperability等GPU软件技术栈,助力腾讯AI LAB虚拟人项目在人脸生成阶段达到了超过3倍的加速。 • 本案例主要应用到 NVIDIA T4 GPU,TensorRT, OpenGL,CUDA, CUDA/OpenGL interoperability等AI加速平台。 Case Introduction major products utilized in the case are NVIDIA T4 GPU, and NVIDIA AI software stack — TensorRT, CUDA, OpenGL, CUDA/OpenGL interoperability, etc. 客户简介及应用背景 腾讯AI LAB致力于打造产学研用一体的 AI 生态,主要的研究方向包括计算机视觉、语音识别、自然语言处理和机器学习,结合腾讯场景与业务优势,在社交AI,游戏AI,内容AI及平台AI等领域取得了显著的成果,技术被应用于微信、QQ、天天快报和QQ音乐等上百个腾讯产品。其中围棋AI “绝艺” 多次获得世界人工智能围棋大赛的冠军。 腾讯AI LAB打造的虚拟人,具有自然,生动且饱含情绪的表情,其背后由一套腾讯 AI Lab 自研的复杂系统支撑,系统首先要从文本中提取不同信息,包括表情、情感、重音位置、和激动程度等;之后,这些信息被输入到模型中生成,再同步生成语音、口型和表情参数,最终才有了虚拟人自然生动的表现。 客户挑战 根据虚拟人物需要表达的语言和情感,生成自然生动的人脸,是打造虚拟人重要的一个阶段。需要先渲染人脸的纹理图和渲染图,并将它们输入到深度学习模型中
一“图”胜千言:NVIDIA NIM Agent Blueprints 掀起新一轮企业生成式 AI 浪潮
生成式 AI 在网络服务中的使用引发了该技术的第一轮浪潮,各种能够帮助人们以空前速度进行写作、研究和想象的工具展现了无限的可能性。 如今,先进的开源基础模型已掀起第二轮生成式 AI 浪潮,同时,代理 AI 的进步正在提高 AI 工作流的效率和自主性。各行各业的企业都可以使用 Google Gemma、Llama 3.1 405B、Microsoft Phi、Mixtral 和 Nemotron 等模型开发自己的 AI 应用,以推动业务增长并提高生产力。 为了加快业务转型,企业需要标准的生成式 AI 工作流蓝图,例如数字人客服聊天机器人、检索增强生成、药物研发等。虽然 NVIDIA NIM 微服务能够帮助企业高效、便捷地利用这些模型,但企业生成式 AI 应用的构建过程仍然复杂,而且步骤繁多。 今天发布的 NVIDIA NIM Agent Blueprints 囊括了企业开发者构建和部署自定义生成式 AI 应用所需的一切,这些应用将对业务目标产生变革性影响。 数据驱动型企业飞轮的蓝图 NIM Agent Blueprints 是为特定用例量身定制的参考 AI 工作流,包含了使用 NVIDIA NIM 与合作伙伴微服务构建的示例应用、参考代码、自定义文档以及用于部署的 Helm 图表。 借助 NIM Agent Blueprints,开发者可以利用 NVIDIA 先进的 AI 工具以及针对每个用例的端到端开发经验,抢先创建自己的应用程序。这些蓝图可进行修改和增强,允许开发者利用信息检索以及可执行复杂任务的基于智能体的工作流。 NIM Agent Blueprints 还能帮助开发者在整个 AI 生命周期中改进应用。用户与 AI 应用的交互会产生新的数据,这些数据可用于在连续不断的学习循环中完善和增强模型,形成一个数据驱动型生成式 AI 飞轮。 NIM Agent Blueprin
案例简介 腾讯公司利用NVIDIA TensorRT推理引擎的INT8推理能力和基于知识蒸馏的QAT训练,大大加速了微信中的搜索动能,节省了约70%的计算资源。本案例主要应用到NVIDIA T4 GPU和TensorRT。 Case Introduction With the help from INT8 inference capability of NVIDIA TensorRT inference engine and knowledge-distillation-based QAT training, Tencent WeChat search is speeded up greatly. About 70% computing resources are saved. The major products utilized in the case is NVIDIA T4 GPU and TensorRT SDK. 客户简介及应用背景 随着腾讯微信的发展,微信搜索也成为其越来越重要的功能,这个功能可以用来搜索微信内部的账号、信息,以及搜索互联网上的内容。微信搜索月活跃用户数量达到五亿以上。搜索业务当中使用了大量的神经网络模型,包括自然语言理解、匹配排序等等,这些模型的训练和推理都大量依赖于NVIDIA GPU,尤其在推理方面,NVIDIA GPU及相应的解决方案都满足了业务所需的延迟和吞吐要求。 客户挑战 微信搜索业务由多个子模块构成,包括查询理解、匹配、搜索排序等等。由于搜索的业务特点,这些任务对线上服务的延迟和吞吐都十分敏感。然而在最近几年,随着算力的提升以及算法的创新,很多大型复杂的神经网络模型开始应用在这些任务上,比如BERT/Transformer等模型。 这些大模型需要的计算资源和业务上的高要求对推理端的软硬件都是很大的挑战,必须针对具体的硬件做极致的