商汤科技推出实时语音驱动数字人技术SekoTalk

商汤科技SenseT...12-17

在数字人技术蓬勃发展的今天，生成效率仍是行业面临的核心挑战。商汤科技凭借在生成式AI与多模态交互领域的深厚积累，推出了实时语音驱动数字人技术——SekoTalk。通过多方面的创新技术，SekoTalk显著提升了数字人视频的生成效率，在8卡服务器上可以达到25 fps的生成速度，首帧延迟低至3.5s，在业内率先实现了实时生成。同时，SekoTalk还能支持多人、多语言的口型精准匹配，和超长时的稳定...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2592669739?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-12-17 13:52","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2592669739","market":"hk","top_or_hot":-1,"title":"商汤科技推出实时语音驱动数字人技术SekoTalk","media":"商汤科技SenseT...","content":"<div>\n<p>在数字人技术蓬勃发展的今天，生成效率仍是行业面临的核心挑战。商汤科技凭借在生成式AI与多模态交互领域的深厚积累，推出了实时语音驱动数字人技术——SekoTalk。通过多方面的创新技术，SekoTalk显著提升了数字人视频的生成效率，在8卡服务器上可以达到25 fps的生成速度，首帧延迟低至3.5s，在业内率先实现了实时生成。同时，SekoTalk还能支持多人、多语言的口型精准匹配，和超长时的稳定...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251217135808a6ac8ad0&s=b\">网页链接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>商汤科技推出实时语音驱动数字人技术SekoTalk</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n商汤科技推出实时语音驱动数字人技术SekoTalk\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-12-17 13:52 北京时间&nbsp;&nbsp;&nbsp;<a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251217135808a6ac8ad0&s=b><strong>商汤科技SenseT...</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>在数字人技术蓬勃发展的今天，生成效率仍是行业面临的核心挑战。商汤科技凭借在生成式AI与多模态交互领域的深厚积累，推出了实时语音驱动数字人技术——SekoTalk。通过多方面的创新技术，SekoTalk显著提升了数字人视频的生成效率，在8卡服务器上可以达到25 fps的生成速度，首帧延迟低至3.5s，在业内率先实现了实时生成。同时，SekoTalk还能支持多人、多语言的口型精准匹配，和超长时的稳定...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251217135808a6ac8ad0&s=b\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK1615","symbol_name":"港股-互联网","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251217135808a6ac8ad0&s=b","article_id":"2592669739","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251217135808a6ac8ad0&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2592669739","pubTimestamp":1765950720,"columns":[],"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"商汤科技凭借在生成式AI与多模态交互领域的深厚积累，推出了实时语音驱动数字人技术——SekoTalk。同时，SekoTalk还能支持多人、多语言的口型精准匹配，和超长时的稳定生成。这一技术显著提升了蒸馏模型生成的动态效果和多样性，使SekoTalk推理开销在降低25倍的情况下，仍保持教师模型良好的肢体运动效果和情绪表现力。SekoTalk提出混合参考图注入等方案，有效平衡动作多样性与画面稳定性。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"80020":"商汤-WR","BK1615":"港股-互联网","BK1613":"DeepSeek概念股","00020":"商汤-W","BK1109":"应用软件"},"translate_title":"SenseTime launches real-time voice-driven digital human technology SekoTalk","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"80020":0.6,"00020":0.9},"content_text":"在数字人技术蓬勃发展的今天，生成效率仍是行业面临的核心挑战。商汤科技凭借在生成式AI与多模态交互领域的深厚积累，推出了实时语音驱动数字人技术——SekoTalk。通过多方面的创新技术，SekoTalk显著提升了数字人视频的生成效率，在8卡服务器上可以达到25 fps的生成速度，首帧延迟低至3.5s，在业内率先实现了实时生成。同时，SekoTalk还能支持多人、多语言的口型精准匹配，和超长时的稳定生成。这一技术突破了数字人发展的性能瓶颈，为数字人的大规模、实时应用打开更多可能。SekoTalk今年8月上线，应用在商汤Seko、如影数字人等产品中，已助力用户创作出数十万部作品，并诞生了全网播放量超2000万播放的爆款作品。算法系统协同：实现极致性价比突破生成效率是数字人走向实用化的关键，而实时性又是生成效率的北极星。SekoTalk通过模型蒸馏，模型结构优化，以及模型与系统的协同设计，在保证生成质量的前提下，实现推理效率的跨越式提升。与其它方案相比，SekoTalk展现出卓越的性价比优势：开源模型生成一段5s视频通常超过十分钟，商用闭源模型生成5s的视频通常也需1至10分钟不等。相比之下，SekoTalk在8卡服务器上可以达到25 fps的生成速度，即便将SekoTalk与多模态模型相结合，整体系统的首帧延迟也可低至3.5s。Phased DMD分布匹配蒸馏技术，无限逼近base模型效果：以往的扩散模型蒸馏经验发现，扩散模型低步数生成的质量受到等效模型容量的制约。而主流的SOTA视频生成模型已经证明混合专家(MoE)技术在扩散模型领域的巨大潜力：不增加推理开销的同时，增大等效模型容量，进而导致更强的性能表现。然而，MoE技术在扩散模型蒸馏中的应用尚未得到探索。商汤科技团队发现，简单地将分布匹配蒸馏(DMD)应用到MoE模型中，会导致生成视频的运动效果和指令遵循能力下降。为了解决这一问题，研究团队提出了Phased DMD技术，把去噪过程建模为多阶段的MoE模型。Phased DMD不仅原生支持MoE模型，而且对于非MoE的教师模型，该技术也可以将之蒸馏为MoE学生模型。这一技术显著提升了蒸馏模型生成的动态效果和多样性，使SekoTalk推理开销在降低25倍的情况下，仍保持教师模型良好的肢体运动效果和情绪表现力。除了应用于SekoTalk，Phased DMD也对开源社区常用的基模型进行了蒸馏并贡献回开源社区，相关优势也得到开源社区的认可，进一步证明了Phased DMD的通用性和有效性。LightX2V与模型协同设计，支持低资源部署：LightX2V是商汤开源的行业首个能够达到实时视频生成的推理框架。在模型和系统设计之初，就让它们融入低比特量化感知训练、稀疏注意力等原生优化，配合自研“SPARSE+NVFP4+低比特通信”高效注意力算子，模型训练完成后可直接低资源部署。从测试数据来看，在不同GPU硬件环境下，LightX2V均能实现SekoTalk 的高效推理，为不同场景的落地提供灵活支撑。声形同步：多语言+多人场景口型精准匹配传统数字人技术在处理多语言、多人交互的复杂场景时，常出现口型与语音匹配不准的问题。SekoTalk通过一系列创新设计，实现了从单人口形到多人互动的高度精准的声形同步。多语言高效同步：在2D数字人生成领域，一些工作沿用了早期的wav2vec2系列的预训练语音编码器来驱动角色。商汤团队根据在3D数字人语音驱动(UniTalker)中积累的算法经验，发现语音编码器的选择对于数字人驱动效果有极大影响。为此，研究团队探究了包含wav2vec2,hubert,wavlm,whisper等多种语音编码器在2D数字人驱动中的性能表现，发现如果沿用wav2vec2系列的语音编码器，即使是多语言预训练的wav2vec2-large-xlsr-53，在英语口型驱动和多语言泛化性上的定量指标中也落后其他编码器。通过细致的消融实验，SekoTalk使用了探究中表现最好的音频编码器，通过规模化的训练，SekoTalk在中英文、多种小语种、日常讲话、说唱等场景中上均取得了准确的驱动效果。音视频帧率解耦，杜绝细节丢失：主流视频生成模型采用了“1+4N”时序压缩机制，为实现与与视频帧的严格同步，SekoTalk对音频处理分支进行了精细优化。它创新地将视频帧率(16-25fps）与语音特征帧率(50fps）解耦，避免了传统下采样放到带来的口型细节丢失，使得音频可以和任意帧率的视频在时序上对齐，保证音频与画面的高质量同步。可支持中文/法语/日语/葡萄牙语/韩语等多语种语音驱动多人场景高度可控：借助良好的模型泛化能力和创新的掩码注意力机制(Attention Mask)，SekoTalk可在多人对话场景中，独立、精准地控制每个角色的口型与动作，输出自然流畅的群组互动效果，拓展了技术的适用场景和应用潜力。高效能、低成本的语音模块：类似文生视频中常常借助文本条件的Classifier-Free Guidance(CFG)来提升视频生成质量，在数字人生成领域中，以往工作也借助这一做法，使用语音条件的CFG来提升口型驱动的准确性，然而这相比于单独文本条件生成视频又多出了50%的计算开销。另一方面，类似于文本条件的CFG通常伴随着生成画面过饱和的问题，语音条件的CFG在提升口型驱动准确性的同时，通常也带来夸张不自然的人脸画面。商汤团队认为，通过更好的语音注入模块的设计，可以更本质地解决这一问题。结合DiT的设计经验，研究团队在语音模块中也引入了Adaptive Layer Normalization(AdaLN)，并且使用可学习参数的注入方式代替了LinearProjection，在保持表现力的前提下降低了计算开销。经过这些改进，SekoTalk模型无需借助语音条件的CFG，就可以达到准确的嘴形驱动。这一改进不仅降低了计算开销，同时也避免了语音条件的CFG带来的口型准确性和脸部画面自然性之间的取舍。超长时稳定生成：告别画面漂移与人物偏移在生成长视频时，画面色彩漂移和人物ID不一致，一直是行业的重要挑战。SekoTalk提出混合参考图注入等方案，有效平衡动作多样性与画面稳定性。混合参考图注入策略，兼顾“段内稳定”与“段外泛化”：通过在训练阶段随机选择片段内、外的参考图，并辅助标志位指示参考图来源，使模型同时掌握了“段内稳定”与“段外泛化”两种能力。在推理时灵活切换，有效兼顾了动作多样性与画面稳定性。高低语义特征联合注入，加快模型收敛速度：采用“高语义特征+低语义特征”的双通道注入机制，利用不同层级的语义信息引导模型，这不仅加强了人物ID的一致性，还加速了模型的收敛。分离式Patchify编码，高保真条件注入：将加噪视频、参考图、前序帧等不同类型的特征交给独立的Patchify分支处理，使模型注意力更容易区分并理解多源信息。这不仅增强了长视频生成中的人物一致性，还提升了续写的连续性与稳定性。隐空间续写优化效率，保障流畅续写：在效率优化上，SekoTalk在时序维度上引入前序帧特征，通过直接取用上一生成片段末尾的隐空间特征，避免了传统方案中“解码-再编码”的冗余流程，并结合层级化KV缓存与因果注意力机制，在确保续写稳定性的同时，大幅提升了长视频生成的推理效率。SekoTalk的技术价值已在实践中得到验证。其在线体验平台作为首个支持2人以上对口型、生成2分钟长视频的免费技术体验平台，已生成大量作品，SekoTalk模型也集成进入Seko、如影数字人等产品中使用。此外，SekoTalk实时版在情感陪伴、在线教育、专业咨询领域的实时交互案例，也展现了其推动数字人走向更自然、智能、实时的未来潜力。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":0,"need_auth":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.35.12","shortVersion":"4.35.12","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2592669739","isCrawlerRequest":true}