[發明專利]一種視頻顯著性檢測任務中圖片預處理的方法

有效

• 申請號: 202110059470.5
• 申請日: 2021-01-18
• 公開（公告）號: CN112381076B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 王楊;吳尚睿;莊月圓
• 申請（專利權）人: 西南石油大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種視頻顯著性檢測任務中圖片預處理的方法，其特征在于，該方法包括下列步驟：

1）獲取圖片候選集；

2）使用修改后Ghostnet神經網絡獲取圖片候選集的視頻特征矩陣；

3）根據視頻特征矩陣，使用Pearson相關系數來得到相鄰圖片的線性相關性；

4）基于Pearson相關系數進行場景切換識別和冗余圖片檢測，生成新的圖片候選集；

其特征在于，步驟2修改后的Ghostnet神經網絡的訓練首先要基于ImageNet，使得模型可以進行1000種類的分類任務，然后去掉Ghostnet的分類模塊，包含了平均池化層，1x1卷積核的卷積層和全連接層，每張圖片通過修改后的模型會生成一個960×1的特征矩陣，將圖片候選集的特征矩陣拼接起來生成視頻特征矩陣；

其特征在于，步驟3根據視頻特征矩陣，使用Pearson相關系數來得到相鄰圖片的線性相關性，包括：通過Pearson相關系數的方法判定得到時序間幀的相關性，相關性的分類界限是Pearson相關系數在0~0.45為兩幀無相關，0.45~0.75為兩幀弱相關，0.75~0.98為兩幀強相關，0.98~1為兩幀高度相似；

其特征在于，步驟4基于Pearson相關系數進行場景切換識別和冗余圖片檢測，生成新的圖片候選集的詳細步驟包括：

4.1）提取當前幀的序號，當前幀是需要生成顯著性檢測結果的幀，擴大圖片搜索范圍，生成圖片候選集；圖片候選集幀的數量和Pearson相關系數個數有對應關系，如當前圖片候選集共有n幀，則對應的Pearson相關系數共有n-1個；

4.2）若Pearson相關系數集合中的值都大于閾值，說明無場景切換，圖片候選集不變，搜索結束；若有值小于閾值，則該值所對應的下一幀圖片發生場景切換，進入下一步；

4.3）判斷場景切換發生在當前幀之前或是之后，如果發生在當前幀之后，執行4.4）；否則，跳轉執行4.5）；

4.4）丟棄場景切換的幀和其之后的所有幀，從未發生場景切換的幀進行補幀，直到滿足需要的固定幀數，生成新的圖片候選集；

4.5）判定當前幀是否發生場景切換，如果當前幀是場景切換的幀，丟棄當前幀之前的所有幀；否則，丟棄場景切換的幀和其之前的所有幀，生成新的圖片候選集；若不滿足固定幀數，從未發生場景切換的幀中進行補幀，生成新的不包含場景切換的圖片候選集；

4.6）根據4.5生成的圖片候選集，當圖片候選集對應的Pearson相關系數高于閾值時，說明存在冗余圖片則刪去對應的幀，生成新的圖片候選集；

4.7）圖片候選集根據同當前幀的距離遠近重新排序；

4.8）依次對圖片候選集中的幀進行判斷，如果不滿足下列公式，則丟棄該幀：

式中，為該幀對應的Pearson相關系數，為設定的初始值，為該幀同當前幀的距離，為設定的權重；

4.9）如果圖片候選集中剩余的幀數不滿足固定幀數，從不存在冗余圖片的幀中進行補幀，生成新的不包含冗余圖片的圖片候選集。