• 请不要在回答技术问题时复制粘贴 AI 生成的内容
niuheishou
V2EX  ›  程序员

死磕一个网页感知系统的来时路(三):长文分享一下干货,扔掉站点配置后,怎么给网页建几何模型

  •  
  •   niuheishou · 5h 59m ago · 289 views

    上篇结尾停在“每适配一个站,要维护一份 200KB 的 JSON 配置”。做到第六个站时我彻底想明白了:就算跑得再稳,只要还在逐站写规则,本质上还是换皮爬虫。

    真正的转折,始于我打算做一个能读网页的桌面助手。当时最大的困难就是:怎么才能不写配置、快速接入任意新站点,让感知自己跑起来?VLM 直接看?小元素看不明白还贵的要死。

    为了回答这个问题,我逼着自己退回原点:网页的本质到底是什么?想来想去,我个人觉得它更像一本碎片化的杂志,终极目标是服务人类获取和使用信息。不管前端用了什么框架、嵌套了多少层代码,所有技术栈最终都在为一个消费终端服务——人类的视觉。

    问题来了:当出现“人类之外的消费端”(比如 AI Agent)时,它该怎么使用这套专门为人眼设计的系统?

    传统爬虫走的是后门,直接消费不可见的接口或底层结构,所以换个站就得重新磨合、一改版就崩,这些折磨了我太久。但反过来想,视觉呈现反而是所有站点差异的公共终点。回头翻看我最早画的那些 YOLO 标注规则,才发现它们其实一直在服务同一件事——我自己的视觉直觉,也就是“人到底是怎么看网页的”。

    如果把网页去掉纹理和色彩,剩下的其实只有两样东西:几何与语义。几何给出位置、边界和归属,语义(比如 aria / role 或表头关联)区分“赞 / 评 / 价”这类含义。两者合在一起,就能把任意页面抽象成三个极简单的概念(拿最常见的瀑布流或列表页就能理解):

    1. 几何导航:人看网页,看到的不是几十万字的 DOM 树,而是一簇簇有边界的几何块——哪些元素属于同一张卡、哪里能点,构成当前屏幕的一张二维导航图。
    2. 裁切与探索:往下滑时,旧内容移出视口,新内容进来,总有元素刚好被切在屏幕边缘。下边被切,就是“下面还有内容”的探索信号;上、左、右同理。浮层遮挡也是一样:一块几何盖在另一块上面,先处理掉上层,再读底下。
    3. 探索完成:反复探索当前视口后,不再产生新的几何结构,就是可以合法停下来的信号。

    再通俗讲就是,网页就是不同的几何组成的,信息散落在各个几何结构里。当你看到页面有遮挡不全的地方会滑动探索,会在某个区域找到自己需要的功能或者想要获取的信息,当页面不在出现新的内容就停下来了。这里就是几何和信息变化带来的行为,对于我们来说这都是下意识的行动。

    我这么形容几条抽象规则就是为了让你读到这里的时候去除过去常见的噪音,色彩、纹理、技术栈这些都是噪音,看到这里,你其实可以扫一眼自己面前正在看的这个页面——这三条建模规则是不是基本不用改就能直接套上去,然后再打开一个新的页面再次试试看看能不能建模同一个事实。

    接下来才是关键:非人系统(大模型 / Agent)到底该怎么消费这三条概念?

    网页是为人类物理视口设计的,不是为 DOM 树设计的。谁盖住了谁、哪张卡被屏幕切掉了一半、哪些按钮此刻其实点不到,都由浏览器最终的物理渲染态决定。物理世界可见,和转译给模型可见不一致,就是 Web Agent 产生操作幻觉的根源。这是我个人基于 EH 大量测试得出的主观结论,现在的模型在指令遵循和诚实度确实很优秀,我认为模型对外部世界的探索绑一个公共事实层的锚点是一种令人心安的解法。

    回到正题现在很多方案直接喂裸 DOM 或无障碍树,把被弹窗盖死的按钮照样标成可点、把视口外藏着的几百行一股脑塞进上下文、把屏幕底部截断的卡片伪装成完整内容。模型读到的其实是一个失真的“假布局”,推理能力再强,也很容易点空、漏行,或者没看全就自信交出一份错答案。只有死守“人类可见边界”,让模型看到的世界和人眼看到的对齐,操作才能真正稳下来。

    实际落地后,喂给模型的不再是 HTML,也不是整页截图,而是一份结构化的视口契约。比如下面是一次真实跨页对比任务里(查询开源工具信息)截出的一小段契约切片:

    [页面主题] Selenium (software)
    [视口位置] 页首 · 页面总长约9屏
    [操作面真值] 动作面3、编辑面0被上层命中面占用,已移除;只使用当前仍标注可操作的表面
    [已审计证据 · 跨页只读] E0「Playwright_Developer: Microsoft」@f2 | E3「Playwright_License: Apache License 2.0」@f2
    
    ▸卡[@N328组 @M10:O25] ⚠裁切
      ▸卡[@N192组 @M13:O13]
        N191  @M13   text: Release
        N193  @O13   Release*: 2004; 22 years ago (2004)
      ▸卡[@N198组 @M14:O14]
        N207  @M14   title*: Stable release
        N208~2 @O14  title*: 4.53.0[1] / 17 November 2026
      ▸卡[@N290组 @M22:O22]
        N288  @O22   Operating system: Cross-platform
      ▸卡[@N303组 @M25:O25] ⚠裁切
        N304  @O25   License*: Apache License 2.0
    

    就这十几行,把前面几个概念全部串起来了:

    • 遮挡真值:顶部直接清掉被上层压住的操作面,不给模型留乱点的机会;
    • 几何分组 + 语义贴值:同属一张信息卡的字段聚在一起,列名直接贴到值上,哪怕便宜模型也不用靠位置硬数表格列;
    • 裁切信号:卡片底部标了 ⚠裁切,模型一看就知道下面还没露全,必须往下滚一屏核实到底部(滚屏后引擎自动切增量模式,只吐变化部分);
    • 证据绑定防脑补:上一页查到的字段已经跨页冻结成 E0~E3;最后提交结论时,每个交付字段必须绑定到真实页面节点或 E*。比如上面这个词条滚到底部后,信息栏确实没列 Developer 这一项——因为页面上绑不到节点,模型就老老实实报告“页面未列出”,不会凭预训练记忆瞎编一个作者填进去。

    第一次对外讲自己总结的理论,这里只是我一家之言,欢迎讨论不同看法。想要了解更多可以看看EH的demo和公开测试版~

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1951 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 14:58 · PVG 22:58 · LAX 06:58 · JFK 09:58
    ♥ Do have faith in what you're doing.