煤炭科学技术

作者：付翔, 王主丰, 秦一凡, 闫明, 张智星, 王然风, 贾一帆,

关键词：井下视频描述, 工况复杂度评估, 自适应关键帧提取, 多模态大模型, 语义融合,

随着煤矿智能化建设的推进，井下作业视频数据量突增，目前视频信息处理与保存方法大多采用单场景视频分析和视频原格式存储技术，存在视频场景模型单一导致信息描述不全面、存储空间受限导致信息保存时间短等应用难题。针对井下视频全信息、低成本语义分析的实际需求，提出一种基于工况复杂度指标赋值的关键帧自适应提取方法与多模态语义建模的煤矿井下视频描述生成方法，实现对井下视频的最优计算解析与自然语言描述。首先根据井下工况特点设计复杂度指标赋值方法，提出基于工况复杂度的视频动态抽帧频度计算方法，实现最低计算成本的视频关键信息捕获；然后设计了基于MLLMs的井下视频描述生成技术框架，开发了关键帧自适应提取、大模型视觉语义特征提取、Prompt设计与文本编码、多模态融合与文本解码等关键技术模块，实现高效低成本化的井下视频全场景信息自然语言描述生成；最后将本文视频描述方法以及抽帧策略与传统方法进行了对比试验，试验结果表明：本文方法在确保高达95.4%的关键信息捕获率的同时，将计算资源消耗降低至传统密集抽帧方法的1.5%，为井下视频全信息、低成本语义分析提供了可行的技术路径。

来源：2025年第11期

《煤炭科学技术》期刊编辑部

查看煤炭科学技术杂志2025年第11期