近来,上海岩芯数智人工智能科技有限公司(以下简称RockAI)的Yan架构大模型成功经过《生成式人工智能服务办理暂行办法》存案,
Yan架构大模型是国内首个非Transformer架构、非Attention机制的大模型。传统的Transformer架构和Attention机制对算力要求比较高,而Yan架构大模型以MCSD、类脑激活机制为根底原理,大幅度的进步模型功能与功率,以3B参数量可到达Llama3 8B的水平,还可在CPU上运转布置。MCSD架构具有快速练习、推理才能,完结更高效的特征提取,类脑激活机制则模仿大脑中的神经元激活形式,在核算时选择性激活部分参数,削减算力冗余,更高效地处理问题。Yan架构大模型在确保功能的一同,大大降低了对算力的依靠。这不仅有助于进步模型的运转功率,还能削减相关本钱,为更多企业和开发者供给了触手可及的AI解决方案。
因而,Yan架构大模型经过存案关于RockAI以及职业开展均具有极端严重价值。
作为国内首个非Transformer架构、非Attention机制大模型完结网信办存案,为职业开展拓荒了新的技能途径。
证明在算力受限的情况下,非Transformer架构技能道路的可行性和潜力,然后可以鼓舞更多企业探究多元化的技能开展方向。
RockAI成为仅有一家非Attention机制大模型和Attention机制大模型均存案经过的厂商,显示了其在AI研制技能方面的立异才能。
技能打破之外,商业落地层面Yan架构大模型也取得了明显效果。依托低算力要求、本地布置、无损运转等优势,RockAI已与机器人、无人机、手机、电脑等范畴的设备厂商树立深度协作,并在上述范畴落地多个项目。
RockAI在大模型范畴以“集体智能”的理念构建通用人工智能技能,以“让世界上每一台设备有自己的智能”为任务,致力于打造集体智能单元大模型,完结AI普惠。Yan架构大模型的存案经过是RockAI饯别任务的重要里程碑,未来,咱们等待Yan架构大模型在更多设备单元布置使用,让集体智能引领走向通用AI,与协作伙伴一同,抢先一步开辟愈加宽广的商场空间。
