1874w
V2EX  ›  OpenAI

我发现 Codex 经常会写入幽灵规则

  •  
  •   1874w ·
    LetTTGACO · 13h 50m ago · 2246 views

    当我纠正、取消或排除一个当前不会使用的行为时,我的想法是默认让该行为从文档中消失

    但是 Codex 经常额外写入“明确不做”“暂不支持”“未来需要时再处理”等反向说明。

    现在的处理:

    不要做 X
    → 文档里写:X 被明确排除,未来需要时再……
    

    实际的我想要的处理:

    不要做 X
    → 删除 X ,不留下任何痕迹
    

    就比如我在优化笔记顾流程时,它根据之前的规则加入了年度回顾的流程。

    然后我纠正说:年度回顾用到的太少了,不需要这个流程,等年底我再单独设计这个流程。

    结果它的实际行为是:

    确实删了年度流程,但是却留下了一句:

    年度回顾明确为“年底需要时再定义并确认独立流程”。
    

    问题原因

    我估计很多时候就是因为我多说了一句:等年底我再单独设计这个流程。结果他就真把这个话写到文档了。

    感觉 AI 好像分不太清: 哪些是我单独给他解释的原因,哪些是需要沉淀到文档的规则。

    而从我的对话习惯来说,我确实是把 AI 当成聊天对象了,所以有时候会解释下为什么我不做这个。但实际上它还是个只会干活的机器,所以没必要说太多给他,不然就会污染他的理解。

    我的解决办法

    虽然这不影响整个流程,但感觉还是有点奇怪,而且他在做 Skill 设计、项目文档的时候也会存在这个问题,我遇到很多次了

    我想着如果我不改变我和 AI 的沟通方式的话,好像只能将它这种「幽灵判断」的行为加入了全局 AGENTS.md 来限制了。

    不知道大伙有没有遇到这种情况,其他模型会不会有这个问题

    21 replies    2026-07-12 01:40:54 +08:00
    Ericcccccccc
        1
    Ericcccccccc  
       13h 39m ago   ❤️ 1
    这就是典型的 ai 不具备判断力,所以说当下的 ai 依然只能是辅助。
    lujiaosama
        2
    lujiaosama  
       13h 19m ago   ❤️ 2
    是的. 我叫它别干什么, 就顺便把这个别做什么写进去了. 有些理论上提供给第三方看的文档, 这种操作就画蛇添足了.
    winnerczwx
        3
    winnerczwx  
       12h 18m ago   ❤️ 1
    应该是 ai 遵循了最小修改原则, 能不删则不删, 除非你明确要求, 这个问题我也经常遇到, 你需要明确告诉他: "文档不再记录年度回顾相关内容, 删除年度回顾章节并对文档进行语义整理". 特别是你提到后续会用到 xx 内容时, 这时候 ai 是一定不会删你内容的.

    从这个角度来看 AI 做的没毛病, 不然你提到后续会用它还给删了, 又有人会跳出来说 AI 会乱删内容
    ndxxx
        4
    ndxxx  
       12h 10m ago via Android   ❤️ 1
    codex 和 cc 还得用 cli ,可控性强。然后指定不同的 profile 目录(不同的全局指令)来做不同的任务,不同的全局指令(+不同的项目指令),基本上幽灵判断可以在可控的心智成本下得到有效缓解。
    1874w
        5
    1874w  
    OP
       12h 2m ago
    @ndxxx 这是个好办法,确实 APP 只有一个全局 AGENTS.md ,我混杂了代码、笔记、文档相关的规则。目前大概有 60 多行 限制规则。倒也还在可控行数内,等后续再加的话,就考虑用 profile 单独给这几个分类创建了。
    penzi
        6
    penzi  
       12h 2m ago   ❤️ 2
    因为你的上下文是终身的, AI 的上下文 session 内都没法保证, 所以 AI 一定倾向于记下每一个决策的原因. 想解决就加 agents.md 规范好开发中间阶段的计划变更等等记录在哪里, 代码里面的注释写什么,不写什么.
    showmethetalk
        7
    showmethetalk  
       11h 44m ago
    确实,这点特别烦人
    Lexo
        8
    Lexo  
       10h 20m ago   ❤️ 1
    我觉得是 GPT 参数量相对来说太小的缘故。不知为何,GPT 总是会很刻板地去理解 prompt 。缺乏一些发散思维和创造力,无法理解自然语言的「弦外之音」和我没有要求的事情。GPT 做前端时总是会在界面上加上大量大量的描述和我提供的提示词的片段,看起来像是过分追求指令遵循导致的。

    而 Claude 在这方面就会好得多,比如我可以跟 Claude 说「像做梦一样整理你的 Claude.md 」,但是对于 GPT 我就需要把提示词写的直接一些...Claude 给我的感觉更像是一个人,一个朋友,而 GPT 更像是擅长干活的工具...

    当然可能下一代 GPT-6 就会解决这个问题了,据说 OpenAI 打算训练一个参数量大得多的底座去对抗 Claude fable 5.1 。
    yidinghe
        9
    yidinghe  
    PRO
       10h 14m ago
    你要不要看看自己说的什么:

    > 我多说了一句:等年底我再单独设计这个流程。结果他就真把这个话写到文档了。

    你当 AI 是你肚子里的蛔虫吗,能听得出你这句话是违心的?它是 AI ,只会按字面意思理解你的话,而不是你的贴心男友,知道你哪句话是闹脾气不能当真。
    1874w
        10
    1874w  
    OP
       10h 0m ago
    @yidinghe 我表达的可能不完全准确,这只是其中一个例子,我有时候直接不跟他解释,让他不要做,它也会这样写幽灵规则

    原因楼上也有提到,可能原因:遵从最小修改、参数量、模型训练时的方向的差异。我并不认为这是个多大的错误,只是从体感上,他更像机器人,不像人。我个人认为「更像人」应该是模型厂商追求的方向。

    所以我才觉得它的这种默认幽灵行为并不是一个好的方向,需要额外的规则约束(本可以不需要约束)
    XnEnokq9vkvVq4
        11
    XnEnokq9vkvVq4  
       9h 58m ago   ❤️ 2
    指令遵循好,是 GPT 系列模型的优点,但副作用就是它会把你说的一切话包括随口一说都当成指令。这种抽象的意图理解本来就很难
    1874w
        12
    1874w  
    OP
       9h 47m ago
    @yidinghe 就比如我之前做 SKILL 修改

    我说:流程 3 不需要调用 XXX 工具,去掉

    然后结果它在安全守则会加上:禁止调用 XXX 工具。

    我:??

    就是这种,从人类一般视角来看,去掉就就是不用了,去掉自然就不会去调用,它额外加个安全守则就很幽灵

    所以我才觉得它整体就比较保守,边界很强。但你要说 加不加这句安全守则有什么问题吗?会影响整体流程吗?

    并不会,只是会让人疑惑而已。
    yidinghe
        13
    yidinghe  
    PRO
       8h 55m ago   ❤️ 1
    @1874w 如果是这样,说明 Codex 对大模型的调教非常保守,对任何禁止性的指令都极其敏感。这倒不算坏事,大概率跟 SOUL 文件有关。

    另外就是表达还需要更明确,比如你实际想表达的其实是 “在流程三中去掉对 XXX 工具的调用” 这两者区别很大,你的原话指向的是工具,我改成指向的是流程三。大模型对指令的主语很敏感。
    wolfie
        14
    wolfie  
       8h 18m ago   ❤️ 1
    指出一个错误,就完全变立场。
    每次都生成一个新的回答,不是基于之前修改。
    honjow
        15
    honjow  
       8h 14m ago
    @wolfie #14 超级墙头草
    yjiefl
        16
    yjiefl  
       6h 45m ago   ❤️ 1
    我这边这种情况很少,大多是我表达模棱两可或者有歧义导致的。
    techmale
        17
    techmale  
       6h 40m ago
    太阳底下无新事

    人自身有巨量上千万的 context ,LLM 参数量的增长和智能也只能一步步增长
    再多的 harness 和 memory 也只能是逐步的减少这个 discrepancy
    人必须亲自去自省这些隐藏上下文拿出来,Hermes/OpenClaw 以及 Codex/Claude 才能发挥它们更多的(a tiny bit more fraction of) 功力
    LK3030
        18
    LK3030  
       4h 27m ago
    完全同意,而且这种差异非常明显,尤其是在撰写文档时会有大量这种叠甲式的句子
    weiwenhao
        19
    weiwenhao  
       3h 0m ago
    经常这样,太恶心了。之前当你交代不要干什么的时候会产生严重的刻板行为。
    monosolo1on1
        20
    monosolo1on1  
       2h 36m ago
    这种问题对我来说真的是太常见了。

    我甚至专门搞了一个 skill ,来让他去评估我的各种文档,在里面排除各种旁白之类的对话,并且还要去删除那种没有补充额外信息、没有强调语义的否定句。
    abc612008
        21
    abc612008  
       1h 28m ago
    而且写注释的时候喜欢加上特定于本次修改 prompt 的说明。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1014 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 97ms · UTC 19:09 · PVG 03:09 · LAX 12:09 · JFK 15:09
    ♥ Do have faith in what you're doing.