黄浦区问道以芯，国内大模型一体机领域新秀加速领跑！
在中国信息通信研究院（中国信通院）近期组织的“可信AI大模型一体机评估体系1.0”评估活动中，一家黄浦区重点扶持的创新企业——问道以芯，凭借其自主研发的“异构存力推理机”，成功通过了推理性能专项评估，跻身国内首批完成该体系评估的企业行列。
问道以芯，这家成立于2021年的新兴企业，致力于构建国产自主的AI及高性能计算开放集群，专注于研发解决核心技术难题的产品。2024年，问道以芯在第四届“海聚英才”全球创新创业大赛中荣获银聚奖，并随后落户黄浦区。今年3月，该公司携手黄浦科创集团和江苏未来网络集团，共同发布了基于全自主知识产权新存力运力架构的AI大模型云边端协同一体机原理机。经过数月的努力，问道以芯于6月正式推出了工程化产品——“异构存力推理机V1”，为中央科创区的“硬科技”产业生态注入了新活力。
随着人工智能领域的蓬勃发展，特别是大模型时代的到来，企业对于如何高效支撑多场景人工智能模型的应用需求愈发迫切。大模型一体机应运而生，它集成了硬件资源、软件平台和大模型的软硬一体化能力，提供了便捷的使用体验，助力企业快速、稳定地落地大模型技术。为推动产业健康发展，中国信通院人工智能研究所联合业界单位制定了可信AI大模型一体机行业标准。
“可信AI大模型一体机评估体系1.0”涵盖了通用大模型一体机、专用大模型一体机和场景大模型一体机三大评估类别。其中，通用大模型一体机评估包括训推一体机、推理一体机、MoE模型专项和推理性能专项等；专用大模型一体机评估则针对基础模型一体机、智能体一体机、代码大模型一体机、金融一体机、政务一体机、教育一体机、工业一体机等；场景大模型一体机评估则聚焦于智能客服一体机、智能风控一体机、智能决策一体机、BI一体机、智能编码工具一体机等。
问道以芯的“异构存力推理机”采用了创新的CXL硬件设备与消费级GPU、CPU配置相结合，通过优化CXL无序IO和BIOS，有效解决了大模型推理场景中因内存墙和数据墙导致的硬件性能下降问题。该产品支持DeepSeek、Qwen等通用大模型及定制化大模型，并在llama.cpp框架下展现出高效率，显著降低了推理侧对GPU性能的需求，从而减少了硬件成本。
该推理机还具备灵活的IO配置能力，支持异步IO和分散-聚集IO，实现了IO优先级调度。这一方案有效缓解了传统IO操作因资源竞争导致的阻塞问题，使算力设备在更高效区间运行。在实际应用中，当运行DeepSeek-R1 70B模型时，推理机会将大部分内存资源和IO资源倾斜向GPU，以确保其高效运行；而当运行更大规模的DeepSeek-R1 671B模型时，由于GPU显存和带宽不足，推理机会通过CXL IO支持GPU计算，同时利用主内存IO支持CPU计算，将推理任务卸载至多设备，以保证更好的输出结果。
“问道以芯异构存力推理机”产品实物图
展望未来，问道以芯将继续秉承“先进芯片技术国产化、IP自主化、产品本地化”的理念，依托黄浦区的人才、产业和资本优势，以全自主知识产权重塑AI基础设施。在“一带一区硬科技”的战场上，问道以芯将持续冲锋前行，与合作伙伴强强联合，共同构建AI服务器异构计算互联的生态体系。