OpenAI 首席执行官 Sam Altman 近日在公开观点中表示，如今绝大多数 PC 的内存在多数时间处于闲置状态，这"太糟糕了"。他认为随着大模型在端侧的普及，充分利用本地内存与算力进行推理将成为重要方向。

他进一步指出，把更多推理任务放到设备本地不仅能降低云端调用成本、减少延迟，还能缓解数据中心与网络带宽压力，同时更利于用户隐私保护。

随着内存容量与带宽的持续提升，端侧大模型推理正从"能跑"走向"跑得好"。这一趋势对大模型 API 服务商、芯片厂商与开发者社区都将产生深远影响。