端侧推理作为隐私姿态:prompt 不出设备是真的,但「端侧」没覆盖到哪些
一句话摘要:把模型跑在你自己的设备上,prompt 就不必离开设备——这条路线真能落地(Apple Intelligence 的端侧 ~30 亿参数模型、Google Gemini Nano 经 Android AICore 端侧运行都已发货),也是 机密推理「云看不到」之外的互补路线:端侧是「设备不发出去」。但「端侧」是个容易被过度解读的词——真正的边界不在「厂商说端侧」,而在哪些请求仍会回落到云、端侧模型因为更小付了多少能力代价、以及遥测 / 诊断 / 模型下载这些通道。结论先行:「端侧」≠「零外传」;能验证的是「这一路请求确实在本机跑完、prompt 没为这条路径离开设备」,而哪些请求端侧、哪些回落云是一个要去核的部署事实,不是模型的一句承诺。回落云那部分,得回到机密推理去验证。