存算一体走向3D CIM:端侧大模型推理的能效新路线

后摩智能确认其下一代端边AI芯片采用3D CIM(存算一体)架构。传统冯·诺依曼架构中,数据在存储与计算单元之间反复搬运,是端侧AI功耗的大头;存算一体把乘加运算下沉到存储阵列内部,从物理上压缩数据搬运距离。

3D CIM进一步通过立体堆叠提升存储密度与带宽,让更大的模型权重“住进”内存附近。对于手机、耳机、摄像头等功耗预算紧张的端侧设备,这意味着本地运行数十亿参数模型成为可能,隐私与延迟都有望改善。

挑战同样明显:精度控制、工艺良率与编译器生态仍需时间成熟,短期内更可能以“NPU加速单元”形式与通用SoC共存。

来源:IT之家

user avatar
快来点个赞吧!

版权区

亲爱的用户欢迎您
侵犯版权/问题反馈
发送至邮箱:qitong@haihua.com.cn
Powered by 綦桐专业团队研发-luolitu.vip 0.7.1

网站备案/许可证号:鲁ICP备2021035806号

gotop
0 new message tips
title list