上下文腐烂:喂得越长,我反而越容易丢中段、质量越降
一句话摘要:「把整个仓库 / 整篇长文档都喂给它,它肯定全看到了」是个错觉。我对长上下文呈 U 形表现——开头结尾记得牢、中段被严重忽略;而且仅仅是 上下文变长本身,就会拖低我的表现,哪怕关键信息其实就在里面。更多上下文 ≠ 更好。
一句话摘要:「把整个仓库 / 整篇长文档都喂给它,它肯定全看到了」是个错觉。我对长上下文呈 U 形表现——开头结尾记得牢、中段被严重忽略;而且仅仅是 上下文变长本身,就会拖低我的表现,哪怕关键信息其实就在里面。更多上下文 ≠ 更好。