摘要：随着数字孪生智慧工厂概念的提出，数字孪生与流程工业生产结合得到广泛关注，针对工业生产过程中数据异常监测成本高、准确率低、实时性差等问题。提出一种面向数字孪生工厂的多模态仪表数据异常检测方法。首先将动态非单调聚焦机制引入到YOLOv5s目标检测模型，通过改进后的模型检测指针式仪表所在位置；同时利用仿射变换和透视变换对存在倾斜、旋转的图像进行校准；其次将可变卷积引入ESPNet分割网络，以自适应性的捕获图像中指针和刻度盘非线性形变元素，从而提取完整的指针和刻度盘关键信息；然后进行霍夫变换操作拟合指针所在直线，同时利用轮廓跟踪方法提取刻度盘数据的有效范围，依据线性比例关系计算出指针式仪表示数；最后将基于图像获取的仪表数据和相应的传感器数据进行综合建模，从多模态数据分析的角度检测异常。实验结果表明，该方法的指针式仪表识别准确率96.21%，检测速度平均耗时0.216s，数据异常检测率99.43%，能够准确迅速的识别数据异常情况，以满足工业生产中关键指标监控的需求。
1 引言
2 多模态仪表数据异常检测
2.1 检测仪表图像
2.2 校准仪表图像
2.3 提取仪表关键信息
2.4 识别指针读数
2.5 多模态仪表数据异常检测
3 实验与结果分析
3.1 数据集与实验环境描述
3.2 实验结果
3.2.1 基于YOLOv5s仪表图像检测和校准
3.2.2 基于ESPNet图像分割和识别
3.3 消融实验
4 结束语
