国内首个千亿级MoE架构大模型开源,破局美半导体出口管制

科技星球观 2024-04-02 14:36:04

4月2日,APUS与战略合作伙伴新旦智能联合训练、研发的千亿MoE(Mixture of Experts)架构大模型,在GitHub上正式开源。

从适配低端算力芯片实现行业普惠,到国内首个开源的千亿参数MoE架构大模型模型提质增效,APUS-xDAN 大模型4.0(MoE)的应用之风将强势来袭。

据「TMT星球」了解,此次双方强强联合,集成各方优势,让APUS-xDAN 大模型4.0(MoE)应用在4090之类的低端算力芯片上,让推理成本大幅下降97.5%,仅需原成本的2.5%。这一全新突破,将为中国企业应用大模型技术提供更大价值,进一步通过算法优化成功破解“算力卡脖子”的难题。

近日,美国商务部发布公告,对美国2023年10月17日发布的半导体出口管制规则进行修订,除此前限制英伟达等公司向中国出口先进的AI芯片,这次新规再次加码,对向中国出口芯片的限制也适用于包含低端芯片的笔记本电脑,标志着中国将更难获取美国人工智能芯片和芯片制造工具。

面对国内算力资源局限与国际技术封锁,APUS董事长兼CEO李涛谈到:“中国要想跳出由美牵头设计的‘算力陷阱’,一方面就要从算法上进化,能用低端算力来做高端模型;另一方面则是持续推动应用生态的进化,只有坚持双向进化,才有可能实现破局。”

而此次开源的,APUS-xDAN 大模型4.0(MoE)就是集合数据、工程和芯片4090上顺畅运行的千亿参数规模大模型,APUS-xDAN 大模型4.0(MoE)进一步破局美半导体出口管制,成功助力中国AI产业在模型应用上实现普惠。

经实际测试显示,APUS-xDAN 大模型4.0(MoE)从技术指标上来看,模型数学能力的GSM8K达到79分,理解能力的MMLU达到73分,推理能力的BBH达到了66分,综合性能超过GPT3.5,逼近GPT4,在数学能力上更是碾压马斯克开源的Grok。

对政府而言,APUS-xDAN 大模型4.0(MoE)的诞生意味着在有限的国产算力资源下,我国依然能自主构建并运行顶级超大规模语言模型,大幅提升国家层面的技术自给自足能力与战略安全。

对企业和个人开发者,尤其是资金有限的小创业者,无需斥巨资购置高端GPU,如A100和H100,仅需借助相对经济的4090,即可驾驭这款强大的AI工具,极大地降低了创新门槛,实现AI技术的普及与广泛应用。

1 阅读:40

科技星球观

简介:由点及面,商业洞察,入木三分。