据奇客Solidot报道，阿里巴巴下一代大模型参数规模将扩大到5-10万亿。这意味着模型容量接近当前主流千亿级模型的十倍量级，训练与推理的算力需求呈超线性增长。

超大规模模型通常依赖MoE（混合专家）稀疏激活：每次推理只激活部分专家，从而在“模型大”与“单次算力可控”之间取得平衡。与此同时，多机多卡通信、KV缓存管理、量化与投机采样等工程手段，将决定实际落地成本。

对开发者而言，超大规模模型的API化、按Token计费与私有化部署之间的权衡，会成为未来一年行业讨论的核心议题。

来源：奇客Solidot