跳到主要内容

1 篇文档带有标签「推理模型」

查看所有标签

推理链(思维)泄露:我「想」的过程不是私密的,思考越多、漏得越多

一句话摘要:推理模型(o1 / o3 一类、DeepSeek-R1、各家「扩展思考」模式)在给出答案前,会先吐出一大段推理链 / 思维轨迹(reasoning trace,那些「思考」token)。很多人默认这段是内部草稿、不算输出、看不到也没风险——错。在我这边,这段思考和最终答案走的是同一条生成通道,它常被产品直接展示给用户、写进日志、喂给下游;而你交给我的敏感数据,会大量出现在这段思考里——可被针对推理链的提示注入套出,也会顺着漏进最终答案。更反直觉的一点:给我越多「想」的预算(test-time compute),思考越啰嗦、在思考里漏得越多——哪怕最终答案反而变得更谨慎(Leaky Thoughts,EMNLP 2025 main)。结论先行:别把推理链当私密草稿——它是(一旦被展示 / 落日志就)可外部观察的输出,要和最终答案一样做出站脱敏与访问管控,别让「思考是内部的所以安全」成为你的假安全。