Soul App 开源实时数字人生成模型 SoulX-FlashHead,轻量 化模型支持“消费级”实时高保真直播
创始人
2026-02-24 17:20:52
0

在实时数字人赛道,开发者们曾长期面临一个困扰:追求高画质就需要具备昂贵的 H800 集群,追求低成本就得忍受“面瘫”和画面崩坏。

为解决这一问题,继开源 14B 的实时数字人生成模型SoulX-FlashTalk 之后,近日,Soul App AI团队(Soul AI Lab)推出了SoulX-FlashHead。这款1.3B参数的轻量化模型,能够在单张消费级显卡( RTX 4090 )上跑出96FPS的工业级速度,同时实现高质量画质,为行业提供新的实时数字人方案。

SoulX-FlashHead核心亮点:不仅是实时,更是“算力自由”

在消费级显卡上,SoulX-FlashHead 的表现:

  • Lite版本(高速率):单卡4090推理帧率可达96FPS,仅需6.4G显存,最高支持3路并发,让实时数字人模型真正走到了消费级终端上。

  • Pro版本(高画质):单卡5090推理帧率16.8FPS,双卡可实时(25fps+),FID(视觉质量指标)和Lip-sync(唇形一致指标)在benchmark上达到了SOTA,甚至超过了更大参数量的模型,解决了“小模型没好画质”的行业痛点。

原理介绍

如何让 1.3B 模型“以小博大”?SoulX-FlashHead创新引入了:

训练“先知”:双向蒸馏机制 (Oracle-Guided Distillation)

长视频生成的“身份漂移”一直是行业痛点。SoulX-FlashHead引入了“上帝视角”教师模型,利用 Ground Truth 作为先知锚点进行强约束。

效果:像给模型装了校准器,无论视频多长,人物特征始终稳定。

8秒记忆:时序音频上下文缓存 (TACC)

流式生成中,音频切片太短会导致口型抖动。

创新:强制模型缓存8秒历史音频特征,补偿上下文缺失。

体验:解决“嘴瓢”和“对不上号”问题,开播即进入理想状态。

高质量数据底座:自研 VividHead 数据集

从 10,000+ 小时素材中精炼出782 小时高质量音画数据:

严苛筛选:经过切分、DWpose 关键点、唇形一致分数过滤等多个处理步骤,为模型提供了最纯净的“养料”。

客观表现

在 HDTF 与 VFHQ 两大权威数据集的实测中,SoulX-FlashHead 展现了出色的表现:

画质新标杆:在高清视频(HDTF)评测中,Pro版本以8.31 (FID)103.14 (FVD)的成绩刷新纪录,视觉细腻度超过 一些“大参数”模型。

口型精准捕捉:面对野外复杂场景(VFHQ),凭借独创的“时序音频上下文缓存”策略,其Sync-C 得分高达 5.60,大幅领先此前相关工作,解决对不上口型的尴尬。

速度“快”:仅凭 1.3B 的轻量化体量,Lite 版本在单张RTX 4090上跑出了96 FPS的吞吐量。这不仅是实时基准(25 FPS)的近4倍,推理效率更是行业同类主流模型的100倍以上。

应用场景:“人人可用”的数字人技术

今年1月,Soul AI Lab开源了实时数字人生成模型SoulX-FlashTalk,能够实现0.87s亚秒级超低延时、32FPS高帧率,并支持超长视频稳定生成。

对比SoulX-FlashTalk,SoulX-FlashHead的价值在于,将高保真技术进一步从“算力机房”解放到了“个人工作站”,让更广泛的场景应用成为可能:

  • 7x24h矩阵直播:个人主播用一台游戏 PC,即可搭建高保真电商直播间。

  • 游戏NPC引擎:1.3B 体积极易集成,NPC 毫秒级响应,且不抢占核心渲染资源。

  • AI一对一外教:支持 15 种语言,实时将音频转化为生动的教学画面。

相关内容

最新资讯

币安将上线 ADA/U、DOG... 来源:市场资讯 (来源:吴说) 据官方公告,币安将于 2026 年 02 月 25 日 16:00(...
ETF主力榜 | 通信ETF嘉... 2026年2月24日,通信ETF嘉实(159695.SZ)收涨3.03%,主力资金(单笔成交额100...
ETF主力榜 | 黄金ETF易... 2026年2月24日,黄金ETF易方达(159934.SZ)收涨3.82%,主力资金(单笔成交额10...
ETF主力榜 | 巴西ETF(... 2026年2月24日,巴西ETF(159100.SZ)收涨1.31%,主力资金(单笔成交额100万元...
ETF主力榜 | 有色ETF汇... 2026年2月24日,有色ETF汇添富(159652.SZ)收涨3.27%,主力资金(单笔成交额10...
江西铜业(600362)披露全... 截至2026年2月24日收盘,江西铜业(600362)报收于57.11元,较前一交易日上涨3.78%...
2月LPR报价继续持平 专家:... 2月24日,中国人民银行授权全国银行间同业拆借中心公布新版LPR(贷款市场报价利率)报价:1年期品种...
广物优车申请基于RPA的车辆报... 国家知识产权局信息显示,广东广物优车科技有限公司申请一项名为“基于RPA的车辆报关数据跨系统协同校验...
招商基金的港股科技50ETF(... 2月24日,港股科技50ETF(159750)报收0.965元,收跌2.23%,成交金额1.1亿元。...
芯片股活跃,半导体设备ETF易... 2月24日,A股主要指数集体走强,个股涨多跌少,芯片半导体板块高开下探后持续拉升。截至午间收盘,中证...