核心技术二

端云大小模型联动的
施工影像智能检测与多级复核

端侧和云端承担不同任务。端侧 YOLO/DGQ 检测施工现场的违章行为,满足快速处理需求;证据涉及隐蔽工程时,云端 VLM 按工序和采集项执行双阶段独立视觉审核。两条路径共享工程上下文、审核记录和监管处置体系。

端侧任务
违章识别
云端任务
隐蔽验真
结论控制
独立复核

任务分流

分析模型由证据类型决定

任务路由发生在模型调用之前。系统读取工程、工序和证据要求,不使用端侧置信度决定是否调用VLM,也不把所有现场影像依次送入两类模型。

施工影像与证据上下文站点 · 工程 · 工序 · 采集项 · 拍摄信息
端侧路径

违章行为检测

YOLO26n 及其增强模块识别人员、装备和现场行为,输出类别、置信度和定位框。检测结果形成违章记录,并进入整改与人工复核。

触发条件
任务要求识别施工违章
分析位置
现场端或近端计算设备
输出
检测框、类别、分数、违章记录
云端路径

隐蔽工程影像验真

只有当前工序属于隐蔽工程,且采集项已配置视觉规则时,系统才调用VLM。模型逐张分析原始证据,不关联其他图片补全不可见信息。

触发条件
隐蔽工序中的受支持采集项
分析位置
云端视觉模型服务
输出
结构化事实、可用性、置信度、复核结论

两条路径在分析阶段相互独立,结果统一写入工程事实中心,并由同一套审核、补采、整改和归档机制处理。

端侧检测

施工违章行为的轻量化检测

端侧模型以YOLO26n 为检测骨干。当前实验版本沿预训练参数继承路径加入DPI、CSDA 、DGQ,分别处理浅层细节衰减、多尺度响应失配以及分类分数与定位质量不一致。

双粒度任务

局部目标与场景状态使用共享特征

局部类别包括安全帽、工作服、抽烟和玩手机;场景类别包括睡岗、人员聚集、危险区域和工具遗留。P3、P4、P5 多尺度特征进入共享分类器,再由类别掩码和分组残差补偿适配两类判别粒度。

DPI 细节保持减少轻量网络中浅层纹理和小目标边界的衰减。
CSDA 尺度调制依据图像内容调整多尺度与方向空间响应。
DGQ 质量精修联合校准类别分数、定位质量和边界几何。

DGQ

质量与边界协同

预测框与真实框匹配后,IoU 作为停止梯度的软标签监督质量分支。推理阶段用质量响应校准候选排序,再用边界残差修正几何位置。

01

类别组适配

局部类别和场景类别使用互补掩码路由,在共享分类器上学习分组残差,降低不同粒度任务之间的响应干扰。

02

IoU质量监督

匹配后IoU 作为质量软标签,前景权重为1.0,背景权重为 0.1;质量BCE 使用 FP32 计算。

03

边界残差

边界分支学习距离残差,末端投影采用零初始化,使新增分支在训练开始时保留预训练模型输出。

响应热力图

四组样本的模块响应

每组按DPI、CSDA、DGQ 的顺序展示中间响应,用于观察不同增强分支的空间关注区域。该结果属于定性诊断,检测性能仍以独立测试集指标为准。

特征图

共享特征与增强分支的逐级对照

四组样本分别保留输入特征、DPI、CSDA、DGQ 处理后的中间结果,便于检查特征增强是否集中在施工目标及其边界区域。

云端验真

隐蔽工程证据的双阶段独立视觉审核

云端 VLM 只处理受支持的隐蔽工序采集项。每次请求包含一张原始图片、当前工序、采集项和明确的事实字段;模型不得跨图推断,也不判断材料强度或毫米级尺寸。

01

适用性校验

系统检查证据是否为照片、工序是否属于隐蔽工程、采集项是否配置视觉规则,以及图片文件是否可用。

02

初次结构化观察

VLM 独立报告施工阶段、采集项一致性、图片可用性、置信度和规定事实字段。无法确认的字段必须输出 uncertain。

03

独立视觉复核

第二次调用重新读取原始图片,但不接收第一次分析结果。复核模型按同一事实字段和通过条件独立输出 pass、fail 或recapture。

04

一致性判断

两次观察均满足最低置信度、图片可用、工序一致、事实无不确定项且结果一致时,系统才能形成机器通过结论;其余情况进入驳回、补拍或人工复核。

当前规则范围

代码中已配置基础浇筑前和接地系统的8 个隐蔽工程采集项。坍落度和试块属于普通混凝土试验,不调用隐蔽工程 VLM。初次观察最低复核置信度为0.65,自主通过阈值不低于 0.80。

协同闭环

两类分析结果进入统一监管流程

端云协同发生在任务、数据和处置层。端侧违章结果与云端隐蔽工程核验结果都保留原始证据引用,再由人工审核和监管状态推导处理。

01

上下文绑定

影像与站点、工程、工序、采集要求、拍摄时间和位置关联。

02

模型分流

违章行为调用端侧检测;隐蔽工程采集项调用云端双阶段视觉审核。

03

具名审核

审核人员查看原图、模型输出和规则依据。驳回后创建补采或整改任务,原记录继续保留。

04

状态更新

审核结果写入工程事实中心,重新推导工序状态和监管案例。

05

报告归档

图片、坐标、时间、分析和人工结论进入核验报告与交付档案。

性能验证

端侧检测与云端验真分别统计

两组指标来自不同任务,不能合并为单一“端云准确率”。端侧指标描述违章目标检测,云端指标描述隐蔽工程证据核验。

端侧违章检测3800 张训练图像· 1500 张测试图像
92.50%Precision
87.98%Recall
94.46%mAP50
76.97%mAP50–95
云端隐蔽工程核验405 张测试图像· 无新增训练标签
96.6%保守准确率;对数据集标注不一致的样本经人工核对后按0.8 折算。
96.1%召回率。隐蔽工程覆盖后难以复检,因此评价优先控制漏检。
100%企业照片检测率。正式技术文档仍需补充分母、样本来源和判定规则。