违章行为检测
YOLO26n 及其增强模块识别人员、装备和现场行为,输出类别、置信度和定位框。检测结果形成违章记录,并进入整改与人工复核。
- 触发条件
- 任务要求识别施工违章
- 分析位置
- 现场端或近端计算设备
- 输出
- 检测框、类别、分数、违章记录
核心技术二
端侧和云端承担不同任务。端侧 YOLO/DGQ 检测施工现场的违章行为,满足快速处理需求;证据涉及隐蔽工程时,云端 VLM 按工序和采集项执行双阶段独立视觉审核。两条路径共享工程上下文、审核记录和监管处置体系。
任务分流
任务路由发生在模型调用之前。系统读取工程、工序和证据要求,不使用端侧置信度决定是否调用VLM,也不把所有现场影像依次送入两类模型。
YOLO26n 及其增强模块识别人员、装备和现场行为,输出类别、置信度和定位框。检测结果形成违章记录,并进入整改与人工复核。
只有当前工序属于隐蔽工程,且采集项已配置视觉规则时,系统才调用VLM。模型逐张分析原始证据,不关联其他图片补全不可见信息。
两条路径在分析阶段相互独立,结果统一写入工程事实中心,并由同一套审核、补采、整改和归档机制处理。
端侧检测
端侧模型以YOLO26n 为检测骨干。当前实验版本沿预训练参数继承路径加入DPI、CSDA 、DGQ,分别处理浅层细节衰减、多尺度响应失配以及分类分数与定位质量不一致。
双粒度任务
局部类别包括安全帽、工作服、抽烟和玩手机;场景类别包括睡岗、人员聚集、危险区域和工具遗留。P3、P4、P5 多尺度特征进入共享分类器,再由类别掩码和分组残差补偿适配两类判别粒度。
DGQ
预测框与真实框匹配后,IoU 作为停止梯度的软标签监督质量分支。推理阶段用质量响应校准候选排序,再用边界残差修正几何位置。
局部类别和场景类别使用互补掩码路由,在共享分类器上学习分组残差,降低不同粒度任务之间的响应干扰。
匹配后IoU 作为质量软标签,前景权重为1.0,背景权重为 0.1;质量BCE 使用 FP32 计算。
边界分支学习距离残差,末端投影采用零初始化,使新增分支在训练开始时保留预训练模型输出。
响应热力图
每组按DPI、CSDA、DGQ 的顺序展示中间响应,用于观察不同增强分支的空间关注区域。该结果属于定性诊断,检测性能仍以独立测试集指标为准。












特征图
四组样本分别保留输入特征、DPI、CSDA、DGQ 处理后的中间结果,便于检查特征增强是否集中在施工目标及其边界区域。
















云端验真
云端 VLM 只处理受支持的隐蔽工序采集项。每次请求包含一张原始图片、当前工序、采集项和明确的事实字段;模型不得跨图推断,也不判断材料强度或毫米级尺寸。
系统检查证据是否为照片、工序是否属于隐蔽工程、采集项是否配置视觉规则,以及图片文件是否可用。
VLM 独立报告施工阶段、采集项一致性、图片可用性、置信度和规定事实字段。无法确认的字段必须输出 uncertain。
第二次调用重新读取原始图片,但不接收第一次分析结果。复核模型按同一事实字段和通过条件独立输出 pass、fail 或recapture。
两次观察均满足最低置信度、图片可用、工序一致、事实无不确定项且结果一致时,系统才能形成机器通过结论;其余情况进入驳回、补拍或人工复核。
代码中已配置基础浇筑前和接地系统的8 个隐蔽工程采集项。坍落度和试块属于普通混凝土试验,不调用隐蔽工程 VLM。初次观察最低复核置信度为0.65,自主通过阈值不低于 0.80。
协同闭环
端云协同发生在任务、数据和处置层。端侧违章结果与云端隐蔽工程核验结果都保留原始证据引用,再由人工审核和监管状态推导处理。
影像与站点、工程、工序、采集要求、拍摄时间和位置关联。
违章行为调用端侧检测;隐蔽工程采集项调用云端双阶段视觉审核。
审核人员查看原图、模型输出和规则依据。驳回后创建补采或整改任务,原记录继续保留。
审核结果写入工程事实中心,重新推导工序状态和监管案例。
图片、坐标、时间、分析和人工结论进入核验报告与交付档案。
性能验证
两组指标来自不同任务,不能合并为单一“端云准确率”。端侧指标描述违章目标检测,云端指标描述隐蔽工程证据核验。