[發(fā)明專利]基于置信度自適應(yīng)和差分增強(qiáng)的視頻顯著物體檢測方法

有效

• 申請?zhí)枺?/td>: 202110085715.1
• 申請日: 2021-01-22
• 公開（公告）號(hào): CN112784745B
• 公開（公告）日: 2023-10-10
• 發(fā)明（設(shè)計(jì)）人: 賴劍煌;陳培佳
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/80;G06V10/30;G06V10/82;G06N3/0464
• 代理公司: 廣東南北知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44918
• 代理人: 李思坪

本發(fā)明公開了一種基于置信度自適應(yīng)和差分增強(qiáng)的視頻顯著物體檢測方法，所述方法輸入一對原圖和光流圖，編碼器分別提取不同層級(jí)的空間特征和時(shí)間特征；提取到的同一層級(jí)的空間特征和時(shí)間特征被送入置信度自適應(yīng)模塊中進(jìn)行重新校正，使得有用信息被傳遞，噪聲信息被抑制；然后，差分信息增強(qiáng)模塊利用差分信息對重新校正后的空間特征和時(shí)間特征進(jìn)行互補(bǔ)增強(qiáng)并得到融合特征；在不同層級(jí)的融合特征經(jīng)過解碼器層層上采樣，最終得到顯著物體圖。提出的差分信息增強(qiáng)模塊通過提取差分信息增強(qiáng)了空間信息和時(shí)間信息完整表示顯著物體的能力，有利于模型完整地分割出顯著物體。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻圖像檢測研究技術(shù)領(lǐng)域，特別涉及一種基于置信度自適應(yīng)和差分增強(qiáng)的視頻顯著物體檢測方法。

技術(shù)背景

視頻顯著物體檢測任務(wù)指的是通過分析輸入的視頻序列，從中定位出最吸引人注意的物體，即顯著物體，并對其進(jìn)行像素級(jí)的分割。該任務(wù)源自于認(rèn)知研究中人類的視覺注意行為，即人類能夠快速將注意力轉(zhuǎn)移到視覺場景中信息量最大的區(qū)域。視頻顯著物體檢測是計(jì)算機(jī)視覺領(lǐng)域的經(jīng)典問題，被廣泛應(yīng)用于其他復(fù)雜任務(wù)，如視頻壓縮，視頻描述和行人重識(shí)別。在視頻序列中，顯著物體的定位不僅受到表觀顏色的影響，還受到運(yùn)動(dòng)快慢的影響。因此，視頻顯著物體檢測任務(wù)不僅需要提取單張圖片中的空間信息，還需要挖掘視頻序列中的時(shí)間信息。傳統(tǒng)的視頻顯著物體檢測方法根據(jù)先驗(yàn)知識(shí)來融合空間信息和時(shí)間信息，例如時(shí)空背景先驗(yàn)和低秩一致性先驗(yàn)。但是，受制于手工提取的低層級(jí)特征，傳統(tǒng)的視頻顯著物體檢測方法性能較差。隨著人工智能的快速發(fā)展，基于深度學(xué)習(xí)的視頻顯著物體檢測方法性能大大提升。現(xiàn)有的基于深度學(xué)習(xí)的視頻顯著物體檢測方法主要分為單流網(wǎng)絡(luò)框架和雙流網(wǎng)絡(luò)框架。單流網(wǎng)絡(luò)框架主要由一個(gè)空間特征提取器和一個(gè)記憶模塊構(gòu)成。空間特征提取器分別提取多張圖片的空間特征，再將多張圖片的空間特征輸入到記憶模塊中，由記憶模塊提取時(shí)間信息，最后得到顯著圖。雙流網(wǎng)絡(luò)框架使用空間特征提取器和時(shí)間特征提取器分別提取來自單張圖片的空間特征和來自光流的時(shí)間特征，并融合時(shí)間特征和空間特征來預(yù)測顯著圖。

基于單流網(wǎng)絡(luò)框架的視頻顯著物體檢測方法采用先提取空間信息后提取時(shí)間信息的流程，時(shí)間信息的提取依賴于先前得到的空間信息，這不僅導(dǎo)致了噪聲的傳遞和誤差的累積，降低模型的魯棒性，也忽略了空間信息和時(shí)間信息的互補(bǔ)作用，未能充分挖掘具有判別性的信息，導(dǎo)致預(yù)測的顯著物體圖不完整。而基于雙流網(wǎng)絡(luò)框架的視頻顯著物體檢測方法往往直接對空間信息和時(shí)間信息進(jìn)行融合，未能考慮空間信息和時(shí)間信息中噪聲對模型性能的影響。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)的缺陷，本發(fā)明旨在于提供一種基于置信度自適應(yīng)和差分增強(qiáng)的視頻顯著物體檢測方法。通過本發(fā)明的方法能夠自適應(yīng)提取原圖輸入和光流圖輸入中有用的空間信息和時(shí)間信息。整個(gè)網(wǎng)絡(luò)框架是一個(gè)雙流結(jié)構(gòu)，包括原圖輸入的空間信息流和光流圖輸入的時(shí)間信息流，可同時(shí)提取表示顏色顯著性的空間特征和表示運(yùn)動(dòng)顯著性的空間特征。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

基于置信度自適應(yīng)和差分增強(qiáng)的視頻顯著物體檢測方法，所述方法包括輸入一對原圖和光流圖，編碼器分別提取不同層級(jí)的空間特征和時(shí)間特征；提取到的同一層級(jí)的空間特征和時(shí)間特征被送入置信度自適應(yīng)模塊中進(jìn)行重新校正，使得有用信息被傳遞，噪聲信息被抑制；然后，差分信息增強(qiáng)模塊利用差分信息對重新校正后的空間特征和時(shí)間特征進(jìn)行互補(bǔ)增強(qiáng)并得到融合特征；在不同層級(jí)的融合特征經(jīng)過解碼器層層上采樣，最終得到顯著物體圖。

優(yōu)選的，所述置信度自適應(yīng)模塊分別由分割器和預(yù)測器構(gòu)成，其中，所述分割器和所述預(yù)測器均由3層卷積核大小為3x3的卷積層串聯(lián)而成；接收來自編碼器的特征作為輸入，所述分割器分割得到一張低分辨率的顯著物體圖；將所述分割器預(yù)測得到的所述顯著物體圖與原先的輸入特征進(jìn)行通道上的拼接后送入所述預(yù)測器；所述預(yù)測器通過分析所述顯著物體圖與所述輸入特征，預(yù)測一個(gè)能夠表示輸入特征置信度的得分。

需要說明的是，所述置信度得分的計(jì)算公式如下：