[發(fā)明專利]基于幀間高級特征差分的零樣本視頻前景分割方法

有效

• 申請?zhí)枺?/td>: 202011292935.3
• 申請日: 2020-11-18
• 公開（公告）號: CN112489073B
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計）人: 張錦;聶偉;沈軍
• 申請（專利權(quán)）人: 中國人民解放軍陸軍軍事交通學院鎮(zhèn)江校區(qū)
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/136;G06N3/04
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

本發(fā)明公開了基于幀間高級特征差分的零樣本視頻前景分割方法，所述方法包括步驟：將兩組視頻幀frame輸入到預先訓練好的高級特征差分對比網(wǎng)絡(luò)模型進行特征編碼，獲取兩組對應(yīng)的高級特征映射；所述特征解碼是特征編碼的逆操作；將獲取的高級特征映射輸入到差分對比模塊中進行差分對比獲取高級時域?qū)Ρ忍卣鳎唤獯a器對高級時域?qū)Ρ忍卣鬟M行特征解碼得到前景mask；本發(fā)明無需人工對算法待部署的場景進行費時費力的標注，僅利用其它現(xiàn)有數(shù)據(jù)集的監(jiān)督信息就行進行模型訓練，并達到較高精度。

技術(shù)領(lǐng)域

本發(fā)明涉及基于幀間高級特征差分的零樣本視頻前景分割方法，屬于視頻智能處理技術(shù)領(lǐng)域。

背景技術(shù)

視頻前景分割是計算機視覺和視頻處理中的一項基礎(chǔ)性、底層的任務(wù)。視頻前景分割的目的是將輸入視頻幀分割成與前景或背景相關(guān)的區(qū)域。它經(jīng)常被用作高層級任務(wù)的預處理步驟，如目標跟蹤、行人和機動車識別等，在智慧交通、智能安防等領(lǐng)域應(yīng)用廣泛。由于視頻場景往往存在動態(tài)背景、硬陰影、光照變化、攝像機抖動等諸多干擾，獲取一個魯棒的時域—空域特征表示是前景分割方法的關(guān)鍵。

深度卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征提取能力，能夠從數(shù)據(jù)中學習語義表示。特別是，基于遷移學習的全卷積神經(jīng)網(wǎng)絡(luò)在前景分割、語義分割等像素級任務(wù)中大幅超越傳統(tǒng)無監(jiān)督算法。然而，當前基于深度學習的前景分割方法(Deep-learning-based ForegroundSegmentation，DFG)普遍依賴大量待分割場景的監(jiān)督信息。而在現(xiàn)實中，待分割場景通常是無標注信息且無法提前預知的。獲取待分割場景的標注信息需要耗費大量的人力和時間成本。此外，實驗表明，當前高性能DFG在不使用待分割場景監(jiān)督信息(僅使用非待分割場景監(jiān)督信息)的情況下，性能大幅下降，甚至低于一些高性能的傳統(tǒng)無監(jiān)督算法。本發(fā)現(xiàn)考慮解決的問題是，在不使用待分割場景標注信息的前提下，獲得一個面向待分割場景的DFG，并且精度接近或超越最佳無監(jiān)督算法。根據(jù)使用待分割場景標注信息的數(shù)量，不使用待分割場景標注信息的問題為零樣本視頻前景分割(Zero-Shot DFG，ZS-DFG)。

本質(zhì)上講，零樣本學習屬于遷移學習的范疇，跨場景視頻序列之間存在大量的共性知識，為零樣本遷移提供了重要的前提和基礎(chǔ)。ZS-DFG能夠從大量有標注信息的有標注場景中學到有效的特征表示，以輔助模型在待分割場景進行前景/背景語義推斷。歸納起來，跨場景視頻序列之間通常存在以下幾個方面的共性知識：

(1)前景共性知識。視頻場景中的前景目標主要由人、車、船等運動目標組成，不同場景中的前景目標具有較強的特征相關(guān)性。

(2)背景共性知識。不同視頻場景中的背景類往往由具有較高相似性的房屋、道路等固定物組成。

(3)噪聲和干擾共性知識。不同視頻場景中的陰影、運動背景(晃動的水面、搖動的樹枝)等干擾同樣具有相似的特點。

(4)幀間時域變化共性知識。這具體表現(xiàn)為視頻中前后幀(不必相鄰)中存在前景目標的對應(yīng)區(qū)域會發(fā)生改變，比如前景目標移動位置、改變姿態(tài)等，而沒有變化的區(qū)域一般為背景。時域變化提供了十分重要的先驗信息：兩幀之間保持時域穩(wěn)定的區(qū)域一般為背景，發(fā)生變化的區(qū)域至少某一幀在該區(qū)域有前景目標。這對于算法性能提升效益明顯。

大部分DFG算法忽略了跨場景共性知識，有的DFG雖然利用了跨場景共性知識，但是僅利用了前3項共性知識，且未探討零樣本條件下的算法性能。然而，試驗表明(見4.2.1)，僅對前三項共性知識進行遷移，在零樣本條件下難以超越先進的無監(jiān)督算法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供基于幀間高級特征差分的零樣本視頻前景分割方法，以解決現(xiàn)有技術(shù)獲取待分割場景的標注信息需要耗費大量的人力和時間成本的缺陷。

基于幀間高級特征差分的零樣本視頻前景分割方法，所述方法包括步驟：

將兩組視頻幀frame輸入到預先訓練好的高級特征差分對比網(wǎng)絡(luò)模型進行特征編碼，獲取兩組對應(yīng)的高級特征映射；所述特征解碼是特征編碼的逆操作；