2 篇文档带有标签「机密推理」

一句话摘要：你想用云上的大模型、又不想让云厂商看到 prompt（或你想供模型、又不想让客户端拿到权重）。机密推理就是这个目标的落地：今天真能用的主要是硬件隔离 + 远程证明路线——如 NVIDIA H100/H200 的 GPU 机密计算，以及 Apple Private Cloud Compute 这类带可验证透明日志的私有云计算架构（两者机制同族但形态不同，别混为一谈）；密码学路线（HE / MPC）在 LLM 规模仍太贵。但「机密」是个营销词——真正的边界不在「厂商说机密」，而在你（或你的设备）有没有验证证明、威胁模型覆盖谁、以及它仍没解决什么（侧信道、信任芯片厂商、法律令）。本条把卷一的 TEE 与 HE·MPC 地基，落到「能不能真把私有推理跑起来」。

一句话摘要：把模型跑在你自己的设备上，prompt 就不必离开设备——这条路线真能落地（Apple Intelligence 的端侧 ~30 亿参数模型、Google Gemini Nano 经 Android AICore 端侧运行都已发货），也是 机密推理「云看不到」之外的互补路线：端侧是「设备不发出去」。但「端侧」是个容易被过度解读的词——真正的边界不在「厂商说端侧」，而在哪些请求仍会回落到云、端侧模型因为更小付了多少能力代价、以及遥测 / 诊断 / 模型下载这些通道。结论先行：「端侧」≠「零外传」；能验证的是「这一路请求确实在本机跑完、prompt 没为这条路径离开设备」，而哪些请求端侧、哪些回落云是一个要去核的部署事实，不是模型的一句承诺。回落云那部分，得回到机密推理去验证。