国内首个与ChatGPT不同机制的通用大模型发布,算力消耗缩减50%

慧聪通信网 2024-01-25 12:11 来源:钛媒体

国内首个与ChatGPT不同机制的通用大模型发布,算力消耗缩减50%

岩芯数智CEO刘凡平

【慧聪通信网】1月24日下午,国内AIGC企业上海岩芯数智人工智能科技有限公司(岩芯数智,RockAI)在上海发布了国内首个自研的非Transformer Attention机制的低算力通用自然语言大模型——Yan模型,记忆能力提升3倍、速度提升7倍,推理吞吐量提升5倍。

这是国内首个发布的与ChatGPT不同机制的通用大模型,参数规模达百亿。该公司称,这是用百亿级参数达成千亿参数大模型的性能效果。

岩芯数智CEO刘凡平表示,“在全球范围内,一直以来都有不少优秀的研究者试图从根本上解决对 Transformer架构的过度依赖,寻求更优的办法替代 Transformer。历经超过几百次的设计、修改、优化、对比、重来后,岩芯数智自主研发出了不再依赖Transformer的全新架构——‘Yan架构’,同时,基于Yan架构的低算力通用大模型应运而生。我们期望Yan架构可作为 AI 领域的基础设施,并以此建立AI领域的开发者生态,最终让任何人在任何设备上都能使用通用大模型,获取更加经济、便捷、安全的AI服务。”

据悉,成立于2023年6月的岩芯数智,是A股上市公司岩山科技(002195.SZ)旗下宣布拥抱AIGC新浪潮、向数智化转型并更名后成立的新公司,专注于打造为百业赋能的一站式AIGC数智化服务平台。而岩芯数智的团队则于2022年在内部组建。

Yan模型是岩芯数智最新自研的百亿级参数模型,主要针对To B行业领域,目前公司已提供多种场景的解决方案。例如RockAI模型大脑可以让企业拥有私域的知识大模型,实现跨文档知识整合、实时信息记录,可用于银行金融、政务办公等。

Yan模型的最大特点,是采用非Transformer Attention(注意力)机制。据悉,包括火热的ChatGPT、BERT等大模型,普遍采用Transformer基础架构,而Attention机制区别于CNN技术,是通过参数和大数据利用算力训练形成的技术体系,则根据应用场景的不同而输出不同信息,通俗来说是把注意力集中放在重要的点上而忽略其他不重要的因素。Attention主要分为空间注意力和时间注意力,前者用于图像处理,后者用于自然语言处理。

刘凡平此前对钛媒体App表示,他们在对Transformer模型不断的调研和改进过程中,意识到了重新设计大模型的必要性:一方面,在Attention机制下,现有架构的调整几乎已经达到瓶颈;另一方面,岩芯数智更期望降低企业对大模型的使用门槛,让大模型在更少的数据、更低的算力下具备更强的性能,以应用于更广泛的业务。因此,岩芯数智希望研发非Transformer架构模型。

据介绍,相比Transformer架构的模型,Yan模型算力消耗缩减50%、推理效率提升7倍、准确率提高3倍、推理吞吐量提升5倍。针对长序列环境,在单张4090 24G显卡上,当模型输出token的长度超出2600时,Yan模型显存使用始终稳定在14G左右,理论上能够实现无限长度的推理,而Transformer模型会出现显存不足。

此外,Yan模型也同时具备私密化、经济化、精准化和实时性、专业性、通用性等六个商业化落地能力。而且,该团队首次研发了一种合理的关联特征函数和记忆算子,可降低模型内部结构的复杂度,发掘决策过程的透明度和可解释性,从而助力全新架构下的Yan模型在医疗、金融、法律等领域的广泛运用。

刘凡平透露,接下来岩芯数智将打造全模态实时人机交互系统,全面打通感知、认知、决策与行动,构建通用人工智能(AGI)的智能循环体(类似于Agents),为通用机器人等具身智能方向的研究提供大模型基础底座的“更多选择”。他强调,通过提供基于Yan架构的专业生产力工具,实现端侧训练、训推一体,推动企业数智化发展。

岩芯数智董事长陈代千表示,随着Yan模型的进一步落地和应用,未来公司将为机器人、嵌入式设备、物联网设备等领域提供所需的智能化能力,为企业和用户创造更多的价值。

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。