Repository navigation
feat: add staged visual build capture and compare protocol - #5364
Conversation
VisActor 工作流结论:流程受阻,请处理待办事项。
已人工合入;Photo 自动标准图更新已暂停,未满足的合入前条件不会由事后批准追认。 Photo 执行明细Photo 原始执行:completed;结果:passed;缺少基准 0;等待 0;运行中 0;不完整 0;创建未知 0。 图片差异解释(0 项)暂无已解释差异。 合入后 Photo 基准更新清单自动标准图更新已暂停。 版本与合入后状态当前提交: 合入后状态:anomaly。 CN 结果仅证明上述实际范围;完整报告和原始差异继续保留。 |
| manifests[side] = await readStage(request.inputs[side], request, 'capture', side); | ||
| phaseResults[side] = JSON.parse(await fs.readFile(path.join(request.inputs[side], `${side}-result.json`), 'utf8')); | ||
| validateResults(phaseResults[side], ids); | ||
| if (captureError(phaseResults[side], side)) issues.push({ phase: side, category: 'execution', code: 'EXECUTION_FAILED', message: `${side}截图阶段存在原始执行错误` }); |
There was a problem hiding this comment.
[P1] 拒绝非零退出码的截图产物,避免误报视觉通过
当截图子进程的退出码与 reporter 终态不一致,或截图阶段清理失败时,runStage 会把 code: 2 和原因写入该侧 stage.json;这里却只重新检查 *-result.json,未检查已读入的 manifests[side].code。若测试记录为 passed,后续像素比较和 saveReport 仍可生成 status: passed,把执行错误当作可采信的视觉通过。请在消费构建和截图产物时拒绝或传播非零阶段退出码,并使最终汇总反映该错误。
已确认修复 (f8699b5): 原触发条件是截图阶段退出码非零或记录清理错误、但逐例结果仍为 passed。当前 compare 读取两侧 stage.json 后同时检查 code、issues 和逐例结果,任一异常都会进入 issues;saveReport 接收 issues 并据此把最终状态设为 error。冻结源码中的阶段测试以非零截图退出码、清理错误及零退出码但含问题记录分别复现,最终均为 error,因此原误报路径已消失。
| export async function readStage(directory, request, stage, side) { | ||
| const manifest = JSON.parse(await fs.readFile(path.join(directory, 'stage.json'), 'utf8')); | ||
| if (manifest.schemaVersion !== 1 || manifest.stage !== stage || manifest.side !== side || | ||
| manifest.admissionEvidence !== false || JSON.stringify(manifest.binding) !== JSON.stringify(stageIdentity(request))) |
There was a problem hiding this comment.
[P2] 按 JSON 对象值比较阶段身份,避免合法请求被拒绝
identity 和 dependencyDigests 是 JSON 对象,字段顺序不属于接口语义。若 build 与 capture 请求含相同的仓库、SHA 和摘要,仅对象键顺序不同,JSON.stringify 仍得到不同字符串,readStage 抛出 STAGE_IDENTITY_INVALID,导致合法阶段产物无法交接。最小 Node 复现已用两份值相同、键顺序不同的请求触发该错误。请对已验证字段逐项比较,或先做稳定排序再计算身份。
已确认修复 (f8699b5): 原触发条件是相邻阶段请求身份值相同,但 identity 或 dependencyDigests 的键顺序不同。当前 readStage 使用 isDeepStrictEqual 对阶段身份按对象值比较,调用 stageIdentity 核对请求字段;阶段测试以键顺序变化的完整请求成功读取构建产物,同时确认不同 headSha 仍被拒绝,因此原合法请求被拒绝的问题已消失。
VTable 的视觉运行器目前顺序完成两侧构建和截图。本变更新增版本化的
build / capture / compare请求文件接口,允许可信调用方在独立输出目录并行运行两侧,原完整 CLI 保持兼容。两侧使用同一套冻结用例,阶段身份、SDK/环境摘要、完整用例集合和文件摘要参与校验;截图中间结果不能作为最终通过证据。此前性能验证(修复前驱动):使用 #5362 的冻结 head/base、原 207 例和固定兼容驱动,在 Linux 隔离环境交替执行三组串行/并行:串行中位 21分12秒,并行 11分45秒,减少44.6%;六轮均为205匹配、2项原预期旧版业务断言对应的 new_baseline,执行错误0。没有放宽断言/比较阈值、更新基准图或启用共享基线缓存。
等待维护者评审;尚未启用生产并行,上述隔离验证未调用远端 Photo。此处耗时仅代表相同准备状态下的视觉阶段,不代表完整工作流减半。
补充冷依赖对照:独立空本地缓存下串行38分17秒、并行26分02秒,两轮均207例/205匹配/2项原回归。单组准备与网络存在波动,不据此保证完整工作流固定提速。另一个并行轮完成原本地Photo尾部构建,包约7MiB,未上传;含尾部共13分22秒,资源回收检查通过。
2026-11-04 CR修复:失败构建禁止交接,截图清单中的非零执行码或问题记录进入最终错误汇总;像素比较复用原运行器的进程退出码与reporter终态校验,并拒绝汇总和逐例状态矛盾。身份按对象值比较,JSON键顺序变化不会误拒绝。两仓原四项CR均已由Bot在最新提交复查确认修复,未发现可确认的新问题。
当前修复提交
f8699b581:本地阶段及相关CLI/依赖/回归测试132/132通过;Linux已提交版本阶段测试19/19通过。使用原#5362冻结输入在Linux无网络隔离环境重跑全部207例,结果仍为205匹配、2项原预期new_baseline、执行错误0,耗时11分14秒;本次不是重新采样三组性能对照。验证worker已回收。VisActor 工作流(CN):blocked
当前提交:
f8699b581de3d5ef62d116bce40dea4031c67534三项检查建议与 BugServer 人工确认