阿里下一代大模型参数将达5-10万亿级别。参数规模越大,单次推理的算力与内存需求越高;但MoE稀疏激活可以让每次推理只走部分专家。想请教:在API调用与私有化部署两种场景下,应该如何量化“参数规模-延迟-成本-效果”之间的权衡?欢迎分享实测经验。
网站备案/许可证号:鲁ICP备2021035806号