[發明專利]一種視頻顯著性檢測任務中圖片預處理的方法

有效

• 申請號: 202110059470.5
• 申請日: 2021-01-18
• 公開（公告）號: CN112381076B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 王楊;吳尚睿;莊月圓
• 申請（專利權）人: 西南石油大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種視頻顯著性檢測任務中圖片預處理的方法，更具體的說，涉及到判別視頻任務所讀取圖片和任務的相關性，作為判別依據在視頻幀輸入深度學習模型之前進行篩選，屬于計算機視覺領域。針對現有視頻顯著性識別技術中沒有有效識別模型讀取幀且無法適用于多場景視頻的問題，本方法通過在圖片讀取中進行冗余圖片檢測、場景切換識別的方法，實現了模型自適應讀取圖片的功能，提高了模型準確率。將該方法進行封裝，封裝后的模塊可以加入任意處理視頻任務的深度學習模型中，提升模型應對各種視頻場景的魯棒性。并且待測圖片集中在輸入模型之前剔除與任務不相關的圖片，使得深度學習模型更容易擬合。

技術領域

本發明涉及一種視頻顯著性檢測任務中圖片預處理的方法，屬于計算機視覺領域。

背景技術

當人類看到豐富且變化的場景時，人類的視覺系統可以快速定位關鍵區域而模糊化其他部分，視頻顯著性檢測的目標就是通過深度學習模型來模擬人眼這個特性。這種方法可以從大量的視頻數據中定位關鍵區域或者是關鍵的幀，能夠有效排除大量的冗余數據，加快深度學習算法的效率，所以該類型的方法被廣泛應用于視頻監控、視頻提取、視頻壓縮、場景分割等計算機視覺任務中。

得益于人工智能技術的進步，特別是深度學習技術在近幾年的大力發展，有很多的視頻顯著性檢測算法被開發出來。在2017年以前主流的方法是基于長短期神經網絡來聚合視頻的時間信息，或是使用二維卷積神經網絡提取圖片空間的特征，在此基礎上將特征傳遞給長短期神經網絡來處理。在2018年之后表現最優良的模型是基于三維卷積神經網絡端到端的處理方法，不同于之前的方法需要將視頻空間和時間的信息分別處理，三維卷積核能同時利用時間和空間的特征，更好的結合視頻的上下文信息開發出更精準的模型，本發明也是針對三維卷積的模型進行進一步優化。

目前，現有的視頻顯著性檢測方法在每次讀取數據時，只能從時序上取固定的幀數(如一次性讀取連續的16幀或者32幀圖片)，來生成一幀顯著性檢測結果。例如在TASED-Net模型中，生成當前幀的顯著性檢測結果需要讀取當前幀之后的連續32幀圖片。真實視頻中，由于會存在大量高度相似的幀，特別是在移動緩慢的場景中，因此讀取固定的輸入幀時會存在大量的冗余信息，造成計算資源的浪費和降低模型準確度。更重要的是讀取固定幀數只能處理單一的視頻場景，當視頻發生場景切換時，由于大量使用之前場景的圖片從而導致新場景的顯著性檢測出現錯誤。深度學習模型視頻的場景切換包含下列可能，后期視頻剪輯，拍攝場景和光照條件。后期視頻剪輯混合各種場景后會造成時序上實質信息的切割，后兩種類型如拍攝時走過轉角場景發生變化，進入隧道中光線明暗的變化，雖然視頻信息是連續的，但實驗結果表明，會對深度學習模型造成同視頻剪輯類似的影響，進而降低模型的準確率甚至完全失效。

總體而言，目前的視頻顯著性檢測方法都是基于深度學習模型的算法，且沒有好的識別場景切換和檢測冗余圖片的策略。

發明內容

本發明要解決的技術問題是：針對現有視頻顯著性檢測技術中沒有有效識別模型讀取幀且無法適用于多場景視頻的問題。本方法通過在圖片讀取中進行場景切換識別、冗余圖片檢測的方法，實現了模型自適應讀取圖片的功能，提高了模型準確率。若將該方法進行封裝，封裝后的模塊可以加入任意處理視頻任務的深度學習模型中，使得該模型擁有冗余圖片檢測和場景切換識別的功能。

為了解決上述問題，該方法包括下列步驟：

1）獲取圖片候選集；

2）使用修改后Ghostnet神經網絡獲取圖片候選集的視頻特征矩陣；

3）根據視頻特征矩陣，使用Pearson相關系數來得到相鄰圖片的線性相關性；

4）基于Pearson相關系數進行場景切換識別和冗余圖片檢測，生成新的圖片候選集。