设为首页 - 加入收藏
您的当前位置:主页 > 理论频道 > 正文

天玑9300领先行业,支持行业最高330亿参数AI大语言模型

来源:本站综合 责任编辑:任文鑫 时间:2023-11-10 14:35:28
  

最新版的联发科5G生成式AI移动芯片天玑9300已发布,其新颖的全大核架构设计和新一代AI处理器APU以及联发科独有的尖端技术,为生成式AI应用提供了强大的性能支持,让使用者享受多彩丰富的生成式AI体验。比此,联发科还与大量AI行业企业加强合作,以在移动端打造丰富的AI生态。

全新第七代AI处理器APU 790,为生成式AI而生

随着用户对生成式AI应用需求日益增长,端侧生成式AI便捷、安全性等优势便凸显出来。当然,部署端侧AI大语言模型需要强大的AI算力支撑。

天玑9300搭载联发科第七代AI处理器APU 790,为生成式AI而设计,拥有硬件级的生成式AI引擎,可以实现更加高速且安全的边缘AI计算,深度适配Transformer模型进行算子加速,速度是上一代的8倍。

同时APU 790的性能和能效得到显著提升,整数运算和浮点运算能力提升至前一代的2倍,苏黎世ETHZv5.1 AI-Benchmark Mobile Soc跑分2109 分,AI性能成功霸榜,功耗更是降低了45%。在强大的AI性能支持下,1秒以内即可生成图片。天玑9300强悍的AI算力、创新的全大核CPU架构和Immortalis-G720 GPU都为端侧运行生成式AI打下坚实的性能基础。

同时,基于亿级参数大语言模型的特性,联发科开发了混合精度 INT4 量化技术,结合联发科特有的内存硬件压缩技术NeuroPilot Compression,可以更高效地利用内存带宽,大幅减少AI大模型占用终端内存,为端侧运行AI大语言模型突破手机内存限制,助力更大参数模型在端侧落地。

基于以上,天玑9300首次在vivo旗舰手机端侧落地70亿参数AI大语言模型,处理速度可达20 Tokens每秒。不仅如此,联发科突破了行业极限,已经与vivo成功在端侧运行了130亿参数的大语言模型。甚至,天玑9300已率先实现在移动芯片上成功运行330亿参数的AI大语言模型,领跑业界。


栏目分类
本网站部分内容来自网络,此类内容仅代表作者个人观点,与本网无关。出于传递更多信息之目的在此刊登,并不意味着赞同其观点或证实其描述。 如发现错发、侵权等行为,请向中国网讯反应,本网将尽快删除。
京ICP备545856号

中国网讯 网站邮箱[email protected]

Copyright © 2007-2021 All Rights Reserved 中国网讯版权所有

网站文章系我网转载,旨在为读者提供更多信息。不保证其正确性或可靠性,所涉内容不构成投资、消费建议,仅供读者参考。

Top