[發(fā)明專利]一種夜間工作工程機(jī)械視覺跟蹤方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110625143.1
• 申請(qǐng)日: 2021-06-04
• 公開（公告）號(hào): CN113450385B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 蔡長(zhǎng)青
• 申請(qǐng)（專利權(quán)）人: 廣州大學(xué)
• 主分類號(hào): G06T7/20
• 分類號(hào): G06T7/20;G06T5/00;G06T5/50;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 常柯陽(yáng)

本發(fā)明公開了一種夜間工作工程機(jī)械視覺跟蹤方法、裝置及存儲(chǔ)介質(zhì)，該方法包括利用全局光照感知和細(xì)節(jié)保持網(wǎng)絡(luò)對(duì)夜間視頻的所有幀進(jìn)行修復(fù)，得到光照增強(qiáng)圖像；利用YOLO?v4算法對(duì)光照增強(qiáng)圖像進(jìn)行處理，生成檢測(cè)窗口；利用卡爾曼濾波跟蹤器對(duì)光照增強(qiáng)圖像進(jìn)行跟蹤檢測(cè)，生成跟蹤窗口和跟蹤ID；根據(jù)位置相似度和CNN特征相似度，將檢測(cè)窗口與跟蹤窗口進(jìn)行關(guān)聯(lián)，構(gòu)建得到關(guān)聯(lián)矩陣；根據(jù)關(guān)聯(lián)矩陣，通過(guò)匈牙利算法判斷檢測(cè)窗口與跟蹤窗口是否相關(guān)聯(lián)；若檢測(cè)窗口與跟蹤窗口相關(guān)聯(lián)，將跟蹤ID分配給檢測(cè)窗口。本發(fā)明能夠?qū)崿F(xiàn)夜間工作中對(duì)工程機(jī)械對(duì)象的精準(zhǔn)檢測(cè)和識(shí)別，本發(fā)明可廣泛應(yīng)用于視覺跟蹤技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及視覺跟蹤技術(shù)領(lǐng)域，尤其是一種夜間工作工程機(jī)械視覺跟蹤方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，計(jì)算能力得到了極大的提高，使得利用計(jì)算機(jī)實(shí)現(xiàn)人類的視覺功能成為目前計(jì)算機(jī)領(lǐng)域中最熱門的課題之一。視覺跟蹤(Visual?tracking)問題是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要問題,所謂視覺跟蹤，就是指對(duì)圖像序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，提取、識(shí)別和跟蹤，獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置、速度、加速度等，以及運(yùn)動(dòng)軌跡，從而進(jìn)行進(jìn)一步處理與分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，以完成更高一級(jí)的任務(wù).

近年來(lái)，計(jì)算機(jī)視覺技術(shù)逐漸成熟，基于視覺的目標(biāo)檢測(cè)、圖像分類、實(shí)例分割等技術(shù)飛速發(fā)展。但是目標(biāo)檢測(cè)框架都集中在光線良好的圖像，然而實(shí)際生活中，夜間施工在許多施工場(chǎng)景中得到了廣泛的應(yīng)用，但由于低光照條件和疲勞環(huán)境，夜間施工的風(fēng)險(xiǎn)也更大；夜間施工視頻中的存在低照明條件問題，光照不足會(huì)影響視覺質(zhì)量，從而會(huì)降低從夜間視頻中識(shí)別工程機(jī)械的目標(biāo)檢測(cè)算法的性能。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明提出一種夜間工作工程機(jī)械視覺跟蹤方法、裝置及存儲(chǔ)介質(zhì)。

本發(fā)明所采取的技術(shù)方案是：

一方面，本發(fā)明實(shí)施例包括一種夜間工作工程機(jī)械視覺跟蹤方法，包括：

利用全局光照感知和細(xì)節(jié)保持網(wǎng)絡(luò)對(duì)夜間視頻的所有幀進(jìn)行修復(fù)，得到光照增強(qiáng)圖像；

利用YOLO-v4算法對(duì)所述光照增強(qiáng)圖像進(jìn)行處理，生成檢測(cè)窗口；

利用卡爾曼濾波跟蹤器對(duì)所述光照增強(qiáng)圖像進(jìn)行跟蹤檢測(cè)，生成跟蹤窗口和跟蹤ID；

根據(jù)位置相似度和CNN特征相似度，將所述檢測(cè)窗口與所述跟蹤窗口進(jìn)行關(guān)聯(lián)，構(gòu)建得到關(guān)聯(lián)矩陣；

根據(jù)所述關(guān)聯(lián)矩陣，通過(guò)匈牙利算法判斷所述檢測(cè)窗口與所述跟蹤窗口是否相關(guān)聯(lián)；

若所述檢測(cè)窗口與所述跟蹤窗口相關(guān)聯(lián)，將所述跟蹤ID分配給所述檢測(cè)窗口。

進(jìn)一步地，所述利用全局光照感知和細(xì)節(jié)保持網(wǎng)絡(luò)對(duì)夜間視頻的所有幀進(jìn)行修復(fù)，得到光照增強(qiáng)圖像這一步驟，包括：

通過(guò)編碼器-解碼器網(wǎng)絡(luò)對(duì)夜間視頻每幀的輸入圖像進(jìn)行照明分布估計(jì)，得到特征映射；

采用級(jí)聯(lián)的方法將所述輸入圖像和所述特征映射進(jìn)行拼接，得到特征圖；

將所述特征圖進(jìn)行三層卷積處理，得到光照增強(qiáng)圖像。

進(jìn)一步地，所述利用YOLO-v4算法對(duì)所述光照增強(qiáng)圖像進(jìn)行處理，生成檢測(cè)窗口這一步驟，包括：

選取阿爾伯塔省建筑圖像數(shù)據(jù)集對(duì)YOLO-v4算法中的深度學(xué)習(xí)對(duì)象檢測(cè)器進(jìn)行訓(xùn)練；

訓(xùn)練好的深度學(xué)習(xí)對(duì)象檢測(cè)器對(duì)所述光照增強(qiáng)圖像進(jìn)行處理，生成檢測(cè)窗口。

進(jìn)一步地，所述位置相似度通過(guò)以下公式計(jì)算得到：