国内首个非Attention机制大模型发布

国内大模型竞争已经从“卷参数”的时代过渡到“卷应用”的时代。AI手机和AI PC纷纷入局，由于通用大模型对算力、存储、能耗的要求非常高，大模型需要通过剪枝、压缩等技术手段来实现设备端的运行。在端侧大模型即将百花齐放之时，“模都”上海的企业另辟蹊径，自研底层架构，挑战已成主流的Transformer架构，试图给出另一个解。

1月24日，上海岩芯数智人工智能科技有限公司（下简称岩芯数智）正式发布国内首个非Attention机制的通用自然语言大模型——Yan模型。作为行业内少有的非Transformer大模型，Yan模型使用了自研的Yan架构。

在同等资源条件下做千亿参数大模型的性能对比测试，据岩芯数智的实验数据，Yan架构的模型训练效率和推理吞吐量分别是Transformer的7倍和5倍，并使记忆能力提升3倍。

实际使用效果还有待行业检测，而对底层架构来说，更难跨过的是生态关。岩芯数智CEO刘凡平在发布会上表示：“我们期望Yan架构可作为人工智能领域的基础设施，并以此建立AI领域的开发者生态，最终让任何人在任何设备上都能使用通用大模型，获取更加经济、便捷、安全的AI服务，推动构建普惠的人工智能未来。”

Transformer不是大模型的“唯一解”

Transformer是当下爆火的GPT、LLAMA、PaLM等大模型普遍采用的基础架构，它的崛起无疑是深度学习历史长河中一个重要的里程碑。凭借着其强大的自然语言理解能力，Transformer在问世的短短几年内便取代了传统的RNN网络结构，不仅成为自然语言处理领域的主流模型架构，还在计算机视觉、语音识别等多个领域展示了其跨界的通用能力。

在Transformer已经占据人工智能领域半壁江山的今天，为什么岩芯数智还要另辟蹊径，转而寻求非Transformer的更多可能性呢？

发布会现场，刘凡平对这个问题做出了解答。他指出，以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。其内部架构的复杂性，让决策过程难以解释；长序列处理困难和无法控制的幻觉问题也限制了大模型在某些关键领域和特殊场景的广泛应用。随着云计算和边缘计算的普及，行业对于高效能、低能耗AI大模型的需求正不断增长。

在全球范围内，一直以来都有不少研究者试图从根本上解决对Transformer架构的过度依赖，寻求更优的办法来替代。Transformer的论文作者之一Llion Jones也在探索“Transformer 之后的可能”，试图用一种基于进化原理的自然启发智能方法，从不同角度创造对AI框架的再定义。

在对Transformer模型的调研和改进过程中，岩芯数智意识到重新设计大模型的必要性：一方面，在Attention机制下，现有架构的调整几乎已经达到瓶颈；另一方面，让大模型在更少的数据、更低的算力下具备更强的性能，才能降低企业对大模型的使用门槛。

历经1000多个日夜，超过几百次的设计、修改、优化、对比、重来后，岩芯数智自主研发的非Transformer架构——Yan架构正式面市。

Yan架构：牵引经济、节能的新能源汽车

如果说基于Transformer架构的大模型是耗油且昂贵的燃油车，那么基于Yan架构的大模型，像是更经济、更节能的新能源车。岩芯数智解释道，Yan架构去除了Transformer中高成本的Attention注意力机制，代之以计算量更小、难度更低的线性计算，提高了建模效率和训练速度。

发布会上，岩芯数智研发团队现场展示了Yan模型和同等参数Transformer模型的实测对比。在同等资源条件下，Yan架构模型的训练效率和推理吞吐量分别是Transformer架构的7倍及5倍，并使记忆能力得到3倍提升。对比数据表明，在单张4090 24G显卡上，当模型输出token的长度超出2600时，Transformer的模型会出现显存不足，而Yan模型的显存使用始终稳定在14G左右，理论上能够实现无限长度的推理。

另外，研究团队首创了一种合理的关联特征函数和记忆算子，结合线性计算的方式，降低模型内部结构的复杂度。新架构下的Yan模型，将打开以往自然语言处理的“不可解释黑盒”，发掘决策过程的透明度和可解释性，助力大模型在医疗、金融、法律等要求确定性的领域的应用。

而在端侧大模型需求量极大的当下，Yan模型100%支持私有化部署应用的特性，可以不经压缩、裁剪就在端侧设备上无损运行。在发布会上，研究人员也现场展示了Yan模型在个人电脑端的运行推理，下阶段有望在手机端等更便捷的终端中部署。

Yan模型在实际应用中的表现还需要经过市场的检验，正如岩芯数智董事长陈代千所言：“随着Yan模型的进一步落地和应用，期待以Yan架构为基础的通用大模型，为各种机器人、嵌入式设备、物联网设备提供所需的智能化能力，能为人工智能行业注入新的活力、新的思路，新的可能，为企业和用户创造更多的价值。”

中国信通院上海工创中心总工程师李韩军也在大会上表示，人工智能发展至今，大模型的架构升级始终在不断进化，在技术与应用的双重驱动下，生态边界也在扩展。每一次技术上的突破，都会带来智能生态的发展。从当前着眼通用性，到未来的个性化发展，我们期待行业生发更多新的生产力工具，引发新一轮技术革命，推动整个AI行业向更加高效和可持续的方向发展。