国产1.58-bit大模型开源,昇腾原生训练显存利用率大幅提升
创始人
2026-05-26 02:06:05
0

5月25日,面壁智能等机构开源三值大模型BitCPM-CANN。

该模型是中国首个基于华为昇腾平台端到端训练并开源的1.58-bit大模型。从量化算子到全链路框架均在昇腾910B上原生完成。模型包含0.5B、1B、3B、8B四个尺寸。相比传统BF16精度,推理阶段释放约6倍显存。

1B、3B和8B版本性能保留率分别为97.1%、97.2%和95.7%。0.5B版本保留率为90.1%。在昇腾910B上量化训练吞吐为148 TFLOP/s。对比全精度155 TFLOP/s,额外计算开销约4.5%。

训练底座基于MindSpeed与Megatron-LM搭建。该体系包含环境适配、32K长序列支持及融合算子。全系列模型权重已在HuggingFace和ModelScope开源。

市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

来源:市场资讯

相关内容

最新资讯

花城盛会领风向,硬核康力立潮头... 花城初夏,珠江潮涌。2026年5月20-23日,第十七届中国国际电梯展览会在广州广交会展馆拉开帷幕。...
远程甲醇电动超级VAN亮相沈阳... 5月22日,远程新能源商用车甲醇电动产品品鉴之旅・沈阳站隆重启幕。活动聚焦甲醇能源低温场景适配、破局...
京北与星坤联手亮相昆山花桥国际... 在汽车电子化、智能化加速推进的背景下,汽车灯具对连接器的可靠性、兼容性提出了更高标准。 2026年3...
重庆科技周|中国汽研汽车指数亮... 5月22日至25日,在第26个全国科技周期间,中国汽研汽车指数积极响应科技部、中央宣传部、中国科协要...
五菱汽车:狂推新车却难掩创新乏... 近期,五菱汽车动作频频,接连推出华境S、缤果Pro两款新车,并宣布将于27日开启星光L的预售。从A0...
上市12小时大定破2.4万!小... 2026年5月25日,小鹏GX首批车主交付仪式在小鹏汇天飞行汽车展厅举行。小鹏集团董事长 CEO何小...
甘肃19所大学入围国内500强... 当人们把目光转向甘肃高等教育版图的时候,总会不自觉地先看一眼那所百年名校兰州大学。但是仔细一数,甘肃...
以总理下令军方“猛踩油门”打击... 新华社耶路撒冷5月25日电(记者王卓伦 庞昕熠)以色列总理内塔尼亚胡25日晚发表视频声明说,他已指示...