小米 MiMo-V3 将采用全新架构:HySparse 2 稀疏推理核心发布

小米 MiMo 大模型负责人罗福莉9月23日宣布,MiMo-V3 即将采用全新架构,其核心 HySparse 2 今日发布,带来更少的预填充、更小的 KV 缓存与更出色的长上下文检索能力。

官方数据显示:在 100 万 Token(1M)长度下,预填充计算量(FLOPs)降低 5.02 倍,KV 缓存缩小 4.5 倍,同时在 MRCRv2、RULER-v2 等长上下文基准上获得更高评分。这意味着端侧与云端大模型推理的成本与效率有望进一步改善。

来源:ithome.com

user avatar
快来点个赞吧!

版权区

亲爱的用户欢迎您
侵犯版权/问题反馈
发送至邮箱:qitong@haihua.com.cn
Powered by 綦桐专业团队研发-luolitu.vip 0.7.1

网站备案/许可证号:鲁ICP备2021035806号

gotop
0 new message tips
title list