[發明專利]基于掩碼指導特征凈化的非監督視頻目標分割方法

在審

• 申請號: 202110293552.6
• 申請日: 2021-03-18
• 公開（公告）號: CN113283283A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 段立娟;恩擎;王文健;喬元華
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明公開了一種基于掩碼指導的特征凈化視頻目標分割方法，屬于特征學習和圖像目標分割技術領域。該方法首先構造訓練數據集。使用編碼器得到嵌入特征，將嵌入特征輸入前向預測解碼器生成前向預測掩碼。隨后使用前向預測編碼與嵌入特征對輸入進行掩碼平均池化操作，得到全局目標特征。將其通過注意力傳播操作得到經過前景增強后的嵌入特征并與嵌入特征進行拼接后，輸入反饋解碼器生成反饋重估計預測掩碼。通過融合得到目標分割結果。本發明保證有意義信息能夠輸入到解碼器中而無用信息被過濾，克服了中層特征忽視語意內容這一缺陷，使神經網絡提取的特征在視頻目標分割任務上取得了更加優秀的效果。

技術領域

本發明涉及深度學習領域和視頻目標分割領域，尤其是涉及到視頻目標分割中的特征表達方法，該方法能夠在視頻目標分割數據集上得到更加準確的分割結果。

背景技術

隨著多媒體和網絡技術的發展，視頻已經成為重要的多媒體信息載體。如何從海量的中視頻提取有價值的信息，從而完成視頻分析以及語意解析，已經成為計算機視覺領域的研究熱點。出色的特征表達不僅能夠表示視頻場景的類別信息，而且能夠獲取視頻的目標語意信息。隨著海量的視頻數據被采集，如何將視頻分析與計算機視覺問題相結合，從而得到出色的特征表達能力是進行視頻語意分析的重中之重。現有視頻分析任務給社會與學術發展帶來便利的同時，也帶來了一定的挑戰。例如如何有效在缺乏在線指導的情況下，對視頻目標進行正確分割以提取視頻中關鍵目標信息，從而應用于視頻監控、跟蹤領域。缺乏在線指導的非監督視頻目標分割在過去一些年在相關領域取得了廣泛的研究和長足的進展。目前大量互聯網公司和研究機構紛紛投入巨資加入到了非監督視頻目標分割任務中，通過上述相關方法完成該任務，這也意味著該任務已經成為了研究的主流。非監督視頻目標分割任務具有很高的應用價值，在視頻監控方面可以幫助篩選顯著運動目標；在自動駕駛方面可以輔助駕駛；在生物醫學方面可以幫助醫生進行輔助治療識別等工作。

人類具有出色的視覺自我視覺凈化能力，其視覺凈化機制在一般情況下會遵從預定義的視覺通路，而當反饋信息進入視覺通路時，能夠自覺調整通過反饋信息指導的視覺語義信息。除此以外，認知心理學表明，感知語義和注意力信息能夠調節神經響應，從而進一步調整從淺層到深層次的側向連接。從而經過內部分析有選擇性地在他們的視覺范圍中關注不同目標部位來迭代地反復修正視覺信息，該能力可以視為人類的視覺凈化能力。該感知機制能夠通過沒有外界指導的條件下，多次分析輸入信息并對其進行重要性篩選，經過自我反饋修正信息對輸入信號進行優先級別劃分。在此情況下，優先級別高的信息會被優先處理，從而提升視覺信息處理的效果。其中獲得自我反饋修正的方式有多種，針對于分割任務來說，人類通過不斷聚焦重估計的過程利用歷史注意信息指導后續認知特征的凈化，逐步篩選出有價值特征進行后續分割。

非監督視頻目標分割是計算機視覺中重要的一個基礎問題，其目的旨在確定輸入視頻中主要目標所對應的掩碼信息或者目標對應的語義信息。該任務主要面對的挑戰在于視頻中的遮擋問題以及復雜背景問題等。本方法主要解決在僅有訓練集分割標簽而缺少任何測試集先驗的情況下，進行目標分割。為了完成上述目標，，相關工作通常使用孿生網絡提取視頻中相關性信息或者使用外部記憶機制來進行完成目標分割任務。但是這些方法首先都需要同時輸入多幀的幫助當前幀進行分割，這在一定程度上使計算量加倍；此外這些方法通常都在整個圖像上傳播信息，而目標在大多數視頻中都只占很小的區域，這也會一定程度造成背景擾亂前景的現象。

基于以上分析，兩種對于真實場景的觀測驅動本方法提出了本章模型：1)為了更好地分割圖像中的主要目標，人類通常需要從底層到高層且從高層到底層地對語義進行解析。2)在視覺處理的過程中，人眼的聚焦過程可以看成從關注圖像整體忽略背景而逐步專注于前景的過程。基于上述真實場景觀察，本方法期望將圖像自身的中間分割過程看成是得到最終精細分割結果過程中的一個精細語義選擇算子，該精細選擇算子得益于粗分割結果從而能夠達到修正分割結果的效果。

發明內容