[發明專利]自適應采煤機隨動跟蹤多攝像頭視頻拼接方法

在審

• 申請號: 202011223540.8
• 申請日: 2020-11-05
• 公開（公告）號: CN112215925A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 董鍇文;孫彥景;王博文;周玉;陳巖;嚴云峰;李媛媛
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/30;G06T5/00;G06K9/46
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張華蒙

本發明公開了自適應采煤機隨動跟蹤多攝像頭視頻拼接方法，屬智能監控技術領域，將攝像頭組自適應隨動跟蹤方法和采煤機視頻拼接算法相結合，提升采煤工作面大視差條件下采煤機監控視頻的拼接效果，降低攝像頭監控死角對采煤機狀態監控的影響；首先利用彩色熒光帶對機體進行位置標記，通過相機標定原理得到其現實空間坐標；基于攝像頭組自適應隨動跟蹤方法對部署于采煤工作面上的攝像頭進行分組激活，由當前被激活攝像頭組完成對采煤機畫面的視頻拼接任務。采煤機視頻拼接算法是利用圖像拼接算法將兩個監控視頻的對應幀圖像進行拼接，基于RANSAC算法篩選SIFT特征點用于兩圖的配準；最后，通過搜尋最優縫合線對兩圖進行拼接，實現采煤機作業的大范圍監控。

技術領域

本發明屬于智能監控技術領域，涉及自適應采煤機隨動跟蹤多攝像頭視頻拼接方法。

背景技術

采煤機作為現下煤礦生產機械化和現代化的重要設備，如果出現故障將會導致整個采煤工作面的中斷，它的運行狀態直接影響煤礦安全生產水平和經濟生產效益。由于采煤機是一個集機械、電氣和液壓為一體的大型復雜系統，它的機體很長，具有操作復雜度高以及無法及時發現工作故障等問題，傳統的視頻監控系統無法覆蓋整個機體，必然會產生監控盲點，增加故障漏檢率。

因此，針對大型采煤機的故障監控系統需要多個攝像頭進行配合，實現對大視域跨度下采煤機畫面的協同采集，才能完成對于采煤機的整體監控。綜上所述，為及時發現采煤機的運行故障，延長采煤機的使用壽命，避免因設備故障而造成的各種經濟損失，設計一種自適應采煤機隨動跟蹤多攝像頭視頻拼接方法具有重要意義。

目前，煤礦井下視頻監控的拼接技術研究已經有了一定的進展，如趙建洪等人針對視頻圖像拼接實時性差的問題，提出利用圖像處理單元實現視頻圖像的融合；管增倫等人針對加速魯棒性特征算法實時性不高等問題，提出降低特征點維度和僅在感興趣區域提取特征點來改進加速魯棒性算法，提高井下視頻拼接算法的實時性和拼接效果；杜春暉等人針對采煤工作面視頻監控問題采用非線性抗失真模型(NAM)矯正算法消除圖像畸變，采用加速穩健特征(SURF)檢測算法進行特征點檢測，并通過雙線性插值方法進行圖像融合，從而實現視頻拼接。

以上方法都對井下視頻監控拼接提出了一定的技術改進，但是對于用于井下監控的攝像頭組沒有進行自適應動態調度，主要面向靜態目標或環境的監控場景，針對動態大型目標(如采煤機)的隨動監控還未得到充分研究。同時，現有拼接算法不能很好處理礦井中大視差條件下的視頻拼接結果模糊、畸變問題，限制了廣視域大視差場景下監控范圍的縱向擴展。

發明內容

發明目的：為了解決現有技術存在的問題，本發明提供自適應采煤機隨動跟蹤多攝像頭視頻拼接方法。

技術方案：為了實現上述發明目的，本發明采用如下技術方案：

自適應采煤機隨動跟蹤多攝像頭視頻拼接方法，包括如下步驟：

1)在采煤機中央部位進行ROI標記，作為相機標定算法的定位錨點；

2)利用色彩分量特征提取算法對各攝像頭采集圖像中的ROI錨點進行檢索，并以一定算法時間間隔t_q按照從左到右排列順序對各攝像頭視頻數據進行ROI錨點輪詢檢索，若某一攝像頭檢索到錨點，則隨后的攝像頭停止檢索，由此攝像頭為中心，根據機體長度確定左右兩側的攝像頭數目，；

3)隨后根據相機標定中圖像空間坐標與現實空間坐標的映射關系自適應確定需調用的攝像頭組并對組內視頻進行圖像拼接，最終將結果顯示在監視器上。

進一步地，步驟1)中，所述的進行ROI標記具體為：首先對采集到的圖像進行RGB到HSV的色域轉換，根據彩色熒光帶的顏色確定其在HSV空間中的色彩因子閾值，基于此閾值對矩形ROI進行識別，獲取矩形ROI形心的像素位置，標記為攝像頭隨動的識別錨點；隨后利用相機標定方法將錨點的圖像空間坐標投影到現實空間坐標系中。