Skip to content

feat: add staged visual build capture and compare protocol - #5364

Merged
Rui-Sun merged 5 commits into
developfrom
codex/dual-staged-visual
Nov 5, 2026
Merged

Rui-Sun merged 5 commits into
developfrom
codex/dual-staged-visual

Conversation

@Rui-Sun

@Rui-Sun Rui-Sun commented Nov 3, 2026 •

Copy link
Copy Markdown
Contributor

VTable 的视觉运行器目前顺序完成两侧构建和截图。本变更新增版本化的 build / capture / compare 请求文件接口,允许可信调用方在独立输出目录并行运行两侧,原完整 CLI 保持兼容。两侧使用同一套冻结用例,阶段身份、SDK/环境摘要、完整用例集合和文件摘要参与校验;截图中间结果不能作为最终通过证据。

此前性能验证(修复前驱动):使用 #5362 的冻结 head/base、原 207 例和固定兼容驱动,在 Linux 隔离环境交替执行三组串行/并行:串行中位 21分12秒,并行 11分45秒,减少44.6%;六轮均为205匹配、2项原预期旧版业务断言对应的 new_baseline,执行错误0。没有放宽断言/比较阈值、更新基准图或启用共享基线缓存。

等待维护者评审;尚未启用生产并行,上述隔离验证未调用远端 Photo。此处耗时仅代表相同准备状态下的视觉阶段,不代表完整工作流减半。

补充冷依赖对照:独立空本地缓存下串行38分17秒、并行26分02秒,两轮均207例/205匹配/2项原回归。单组准备与网络存在波动,不据此保证完整工作流固定提速。另一个并行轮完成原本地Photo尾部构建,包约7MiB,未上传;含尾部共13分22秒,资源回收检查通过。

2026-11-04 CR修复:失败构建禁止交接,截图清单中的非零执行码或问题记录进入最终错误汇总;像素比较复用原运行器的进程退出码与reporter终态校验,并拒绝汇总和逐例状态矛盾。身份按对象值比较,JSON键顺序变化不会误拒绝。两仓原四项CR均已由Bot在最新提交复查确认修复,未发现可确认的新问题。

当前修复提交 f8699b581:本地阶段及相关CLI/依赖/回归测试132/132通过;Linux已提交版本阶段测试19/19通过。使用原#5362冻结输入在Linux无网络隔离环境重跑全部207例,结果仍为205匹配、2项原预期new_baseline、执行错误0,耗时11分14秒;本次不是重新采样三组性能对照。验证worker已回收。

VisActor 工作流(CN):blocked

当前提交:f8699b581de3d5ef62d116bce40dea4031c67534

三项检查建议与 BugServer 人工确认

@github-actions github-actions Bot added the vtable label Nov 3, 2026
@Rui-Sun
Rui-Sun marked this pull request as ready for review November 3, 2026 10:31
@visactor-review-bot

visactor-review-bot Bot commented Nov 3, 2026 •

Copy link
Copy Markdown

VisActor 工作流

结论:流程受阻,请处理待办事项。
当前提交:f8699b5;比较基线:d085f72。
环境:CN;更新时间:2026-11-11T13:42:28.668Z。

检查项 状态 关键结果
CR ✅ passed 待处理 0;接受风险 0 查看结果
单测 ✅ passed 必要单测 job 必须实际执行并成功 查看结果
Playwright ✅ passed 截图 207;匹配 207;差异 0(已解释 0);错误 0
Photo(原 BugServer / UNIC) ✅ passed 用例 1415;截图 2235;匹配 2235;差异 0(已解释 0);错误 0

Photo 独立报告:流程完成不代表 Photo 通过。 Photo 自动执行并展示原始结果;差异解释仅作非阻断建议,强制门禁和标准图更新保持关闭,需管理员人工核查。

已人工合入;Photo 自动标准图更新已暂停,未满足的合入前条件不会由事后批准追认。
Bot 仅提供 CR、单测、Playwright 三项检查建议,不强制阻止合入。
未 Approve,可直接 Merge。

Photo 执行明细

Photo 原始执行:completed;结果:passed;缺少基准 0;等待 0;运行中 0;不完整 0;创建未知 0。

图片差异解释(0 项)

暂无已解释差异。

合入后 Photo 基准更新清单

自动标准图更新已暂停。

版本与合入后状态

当前提交:f8699b581de3d5ef62d116bce40dea4031c67534;比较基线:d085f72d3e99334461bea32afe529c0317c8d7f5。

合入后状态:anomaly。

CN 结果仅证明上述实际范围;完整报告和原始差异继续保留。

@visactor-review-bot visactor-review-bot Bot left a comment •

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

最新复查提交: f8699b5

未发现可确认的新问题;此前两项问题已修复。

manifests[side] = await readStage(request.inputs[side], request, 'capture', side);
phaseResults[side] = JSON.parse(await fs.readFile(path.join(request.inputs[side], `${side}-result.json`), 'utf8'));
validateResults(phaseResults[side], ids);
if (captureError(phaseResults[side], side)) issues.push({ phase: side, category: 'execution', code: 'EXECUTION_FAILED', message: `${side}截图阶段存在原始执行错误` });

@visactor-review-bot visactor-review-bot Bot Nov 4, 2026 •

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

[P1] 拒绝非零退出码的截图产物,避免误报视觉通过

当截图子进程的退出码与 reporter 终态不一致,或截图阶段清理失败时,runStage 会把 code: 2 和原因写入该侧 stage.json;这里却只重新检查 *-result.json,未检查已读入的 manifests[side].code。若测试记录为 passed,后续像素比较和 saveReport 仍可生成 status: passed,把执行错误当作可采信的视觉通过。请在消费构建和截图产物时拒绝或传播非零阶段退出码,并使最终汇总反映该错误。


已确认修复 (f8699b5): 原触发条件是截图阶段退出码非零或记录清理错误、但逐例结果仍为 passed。当前 compare 读取两侧 stage.json 后同时检查 code、issues 和逐例结果,任一异常都会进入 issues;saveReport 接收 issues 并据此把最终状态设为 error。冻结源码中的阶段测试以非零截图退出码、清理错误及零退出码但含问题记录分别复现,最终均为 error,因此原误报路径已消失。

export async function readStage(directory, request, stage, side) {
const manifest = JSON.parse(await fs.readFile(path.join(directory, 'stage.json'), 'utf8'));
if (manifest.schemaVersion !== 1 || manifest.stage !== stage || manifest.side !== side ||
manifest.admissionEvidence !== false || JSON.stringify(manifest.binding) !== JSON.stringify(stageIdentity(request)))

@visactor-review-bot visactor-review-bot Bot Nov 4, 2026 •

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

[P2] 按 JSON 对象值比较阶段身份,避免合法请求被拒绝

identity 和 dependencyDigests 是 JSON 对象,字段顺序不属于接口语义。若 build 与 capture 请求含相同的仓库、SHA 和摘要,仅对象键顺序不同,JSON.stringify 仍得到不同字符串,readStage 抛出 STAGE_IDENTITY_INVALID,导致合法阶段产物无法交接。最小 Node 复现已用两份值相同、键顺序不同的请求触发该错误。请对已验证字段逐项比较,或先做稳定排序再计算身份。


已确认修复 (f8699b5): 原触发条件是相邻阶段请求身份值相同,但 identity 或 dependencyDigests 的键顺序不同。当前 readStage 使用 isDeepStrictEqual 对阶段身份按对象值比较,调用 stageIdentity 核对请求字段;阶段测试以键顺序变化的完整请求成功读取构建产物,同时确认不同 headSha 仍被拒绝,因此原合法请求被拒绝的问题已消失。

@Rui-Sun
Rui-Sun merged commit b8d0569 into develop Nov 5, 2026
9 checks passed
@Rui-Sun
Rui-Sun deleted the codex/dual-staged-visual branch November 5, 2026 06:04
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant