煤炭学报

作者：杨艺, 杨艳磊, 王田, 王科平,

关键词：工作面, 行为识别, 空间−时间−通道信息, 网络模型, 工程部署,

综采工作面关键设备和人员的行为识别是开采环境信息智能感知的基础和核心。然而，综采工作面光照条件普遍较差，煤尘和水雾等干扰容易引起视频画面模糊，导致识别目标行为的关键特征难以提取，使得设备和人员的行为识别准确度无法达到实际工程应用的标准。为此，基于ResT网络架构，建立一种包含空间、时间、通道的多重信息自注意力模型和特征融合机制，扩展了模型特征提取的信息源，将其从单纯的空间信息扩展到空间、时间和通道的多重信息，提升了模型对目标行为的表征能力。其中，空间信息是对目标行为在空间上的深度解析，展现了目标的纹理、位置和形状等一系列深层特征；时间信息是从连续的视频帧中提取目标行为的时序特征，反映了行为发生的顺序以及演变关系；通道信息则是对空间和时间层面上的扩展与深入，从多角度挖掘空间和时间信息，并将原始数据表征在特征通道上，提供了目标行为的全局特征。算法的有效性在综采工作面行为识别数据集上进行了验证和对比试验。结果表明：在真实综采工作面环境下，行为识别的准确度可达到96.90%。相较于Swin-Transformer、Timesformer等主流的行为识别算法，识别准确率分别提升了11.06%和10.62%。算法经过ONNX模型转换和TensorRT加速后，在GPU上实现了推理，具备工程应用价值。据此，研发了综采工作面行为识别系统，并将算法模型以插件的形式嵌入到行为识别系统的Pipeline中，实现在DeepStream框架下对综采工作面关键设备和人员行为的实时推理和准确识别。

来源：2025年第2期

《煤炭学报》期刊编辑部

查看煤炭学报杂志2025年第2期