[發明專利]自適應采煤機隨動跟蹤多攝像頭視頻拼接方法

在審

• 申請號: 202011223540.8
• 申請日: 2020-11-05
• 公開（公告）號: CN112215925A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 董鍇文;孫彥景;王博文;周玉;陳巖;嚴云峰;李媛媛
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/30;G06T5/00;G06K9/46
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張華蒙

1.自適應采煤機隨動跟蹤多攝像頭視頻拼接方法，其特征在于：包括如下步驟：

1)在采煤機中央部位進行ROI標記，作為相機標定算法的定位錨點；

2)利用色彩分量特征提取算法對各攝像頭采集圖像中的ROI錨點進行檢索，并以一定算法時間間隔t_q按照從左到右排列順序對各攝像頭視頻數據進行ROI錨點輪詢檢索，若攝像頭檢索到錨點，則隨后的攝像頭停止檢索；

3)隨后根據相機標定中圖像空間坐標與現實空間坐標的映射關系自適應確定需調用的攝像頭組并對組內視頻進行圖像拼接，最終將結果顯示在監視器上。

2.根據權利要求1所述的自適應采煤機隨動跟蹤多攝像頭視頻拼接方法，其特征在于：步驟1)中，所述的進行ROI標記具體為：首先對采集到的圖像進行RGB到HSV的色域轉換，根據彩色熒光帶的顏色確定其在HSV空間中的色彩因子閾值，基于此閾值對矩形ROI進行識別，獲取矩形ROI形心的圖像位置坐標，標記為攝像頭隨動的識別錨點；隨后利用相機標定方法將錨點的圖像空間坐標投影到現實空間坐標系中。

3.根據權利要求2所述的自適應采煤機隨動跟蹤多攝像頭視頻拼接方法，其特征在于：所述的相機標定方法，包括如下步驟：

1.1)建立圖像空間坐標系：圖像空間坐標系分為圖像物理坐標系和圖像像素坐標系：圖像物理坐標系xo₀y以實際物理尺寸作為度量單位，原點位于o₀；圖像像素坐標系uov以像素點為度量單位，原點位于o；u和v分別表示像素在數字圖像中的列數和行數；圖像空間坐標系的x軸和y軸與像素坐標系的u軸和v軸相互平行且方向相同；(u₀,v₀)為物理坐標系原點o₀的像素坐標系坐標，相機中感光器件每個像素的尺寸是dx*dy，則物理坐標系坐標(x,y)到像素坐標系坐標(u,v)的變換關系表示為：

1.2)建立相機坐標系：相機坐標系x_cy_cz_c是以相機的光軸作為Z軸，o_c為光心，x_c軸和y_c軸分別與圖像空間坐標系的x軸和y軸平行；o_co₀為相機焦距f；p點表示圖像物理坐標系中的成像坐標，b點表示相機坐標系中物體點的坐標；根據相似三角形原理，相機坐標系與圖像物理坐標系之間關系為：

1.3)建立現實空間坐標系：現實空間坐標系是由用戶定義的三維坐標系，用于描述現實三維空間中的物體和相機的位置，以X_w，Y_w，Z_w表示；

對相機坐標進行平移、旋轉操作則得到ROI錨點在現實空間坐標系中的坐標：

其中R表示一個旋轉矩陣，t_s表示平移向量，它們稱為外參數矩陣，由相機部署位置和其與水平面的夾角等因素確定，用于表示相機坐標相對于世界坐標的旋轉和平移變換關系，最終計算得到ROI錨點的世界坐標O_a(X_wa,Y_wa,Z_wa)。