[發明專利]一種夜間工作工程機械視覺跟蹤方法、裝置及存儲介質

有效

• 申請號: 202110625143.1
• 申請日: 2021-06-04
• 公開（公告）號: CN113450385B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 蔡長青
• 申請（專利權）人: 廣州大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T5/00;G06T5/50;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

1.一種夜間工作工程機械視覺跟蹤方法，其特征在于，包括：

利用全局光照感知和細節保持網絡對夜間視頻的所有幀進行修復，得到光照增強圖像；

利用YOLO-v4算法對所述光照增強圖像進行處理，生成檢測窗口；

利用卡爾曼濾波跟蹤器對所述光照增強圖像進行跟蹤檢測，生成跟蹤窗口和跟蹤ID；

根據位置相似度和CNN特征相似度，將所述檢測窗口與所述跟蹤窗口進行關聯，構建得到關聯矩陣；

根據所述關聯矩陣，通過匈牙利算法判斷所述檢測窗口與所述跟蹤窗口是否相關聯；

若所述檢測窗口與所述跟蹤窗口相關聯，將所述跟蹤ID分配給所述檢測窗口；

所述根據位置相似度和CNN特征相似度，將所述檢測窗口與所述跟蹤窗口進行關聯，構建得到關聯矩陣這一步驟，包括：

將位置相似度和CNN特征相似度進行線性組合，計算所述檢測窗口和跟蹤窗口之間的相似性；

集成每對所述檢測窗口和跟蹤窗口之間的相似性，構建得到關聯矩陣；

將位置相似度和CNN特征相似度進行線性組合，計算所述檢測窗口和跟蹤窗口之間的相似性是通過以下公式執行：

similarity(i,j)＝α×IoU(i,j)+(1-α)×k(i,j)；

式中，similarity(i,j)表示檢測窗口i和跟蹤窗口j之間的相似性，IoU(i,j)表示檢測窗口i和跟蹤窗口j之間的位置相似度，k(i,j)表示檢測窗口i和跟蹤窗口j之間的CNN特征相似度，α表示一個常數；

所述根據所述關聯矩陣，通過匈牙利算法判斷所述檢測窗口與所述跟蹤窗口是否相關聯通過以下公式執行：

maximize:

式中，A[i,j]表示關聯矩陣，A[i,j]＝similarity(i,j)，

其中，當j＝1,K,b；當i＝1,K,a；

式中，i表示檢測窗口，a表示檢測窗口的數量，j表示跟蹤窗口，b表示跟蹤窗口的數量。

2.根據權利要求1所述的一種夜間工作工程機械視覺跟蹤方法，其特征在于，所述利用全局光照感知和細節保持網絡對夜間視頻的所有幀進行修復，得到光照增強圖像這一步驟，包括：

通過編碼器-解碼器網絡對夜間視頻每幀的輸入圖像進行照明分布估計，得到特征映射；

采用級聯的方法將所述輸入圖像和所述特征映射進行拼接，得到特征圖；

將所述特征圖進行三層卷積處理，得到光照增強圖像。

3.根據權利要求1所述的一種夜間工作工程機械視覺跟蹤方法，其特征在于，所述利用YOLO-v4算法對所述光照增強圖像進行處理，生成檢測窗口這一步驟，包括：

選取阿爾伯塔省建筑圖像數據集對YOLO-v4算法中的深度學習對象檢測器進行訓練；

訓練好的深度學習對象檢測器對所述光照增強圖像進行處理，生成檢測窗口。

4.根據權利要求1所述的一種夜間工作工程機械視覺跟蹤方法，其特征在于，所述位置相似度通過以下公式計算得到：

式中，IoU(i,j)表示檢測窗口i和跟蹤窗口j之間的位置相似度，Area(i)表示檢測窗口i所在區域，Area(j)表示跟蹤窗口j所在區域。

5.根據權利要求1所述的一種夜間工作工程機械視覺跟蹤方法，其特征在于，所述CNN特征相似度通過以下公式計算得到：

式中，k(i,j)表示檢測窗口i和跟蹤窗口j之間的CNN特征相似度，v(i)表示檢測窗口i經過ResNet50神經網絡處理后得到的特征向量，v(j)表示跟蹤窗口j經過ResNet50神經網絡處理后得到的特征向量，||v(i)||表示特征向量v(i)的范數，||v(j)||表示特征向量v(j)的范數。

6.一種夜間工作工程機械視覺跟蹤裝置，其特征在于，包括：

至少一個處理器；

至少一個存儲器，用于存儲至少一個程序；

當所述至少一個程序被所述至少一個處理器執行，使得所述至少一個處理器實現如權利要求1-5任一項所述的方法。

7.計算機可讀存儲介質，其特征在于，其上存儲有處理器可執行的程序，所述處理器可執行的程序在被處理器執行時用于實現如權利要求1-5任一項所述的方法。