[發明專利]一種視頻顯著性檢測方法

在審

• 申請號: 202210584580.8
• 申請日: 2022-05-26
• 公開（公告）號: CN114782878A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 楊威;楊金鋒;景曉軍;袁航;江巧捷;曾晶
• 申請（專利權）人: 廣東南方電信規劃咨詢設計院有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/46;G06V10/764;G06V10/30;G06K9/62
• 代理公司: 深圳市凱達知識產權事務所 44256
• 代理人: 王琦

1.一種視頻顯著性檢測方法，其特征在于，包括以下步驟：

101、采用VVC編碼器進行編碼，通過使用視線跟蹤數據庫，對數據庫的所有視頻的深度、位分配和運動向量從相應的VVC比特流中提取并進行計算；其中，所述視線跟蹤數據庫包含不同分辨率的各類型視頻；

102、在VTM4(VVC Test model 4)中，使用一種基于塊的仿射運動補償預測，具體的，一個塊的仿射運動域由兩個控制點(Control Point)組成的四參數模型或三個控制點(Control Point)組成的六參數模型運動矢量來表示；Merge mode with MVD又叫做UMVE，在選擇運動矢量候選列表(MV Candidate)之后，UMVE會以此為起點做更精細的運動搜索，而在碼流中只需要傳送器對應的Index即可，然后，為每個視頻幀生成這些特征的地圖；

103、將上述這些特征以濾波器優化后，基于以上的特征，使用非線性二分類方法訓練數據；通過顯著性映射和處理，得到顯著性圖，完成顯著性檢測；具體的，非線性二分類方法為SVM支持向量機分類法，SVM支持向量機是將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面，在分開數據超平面的兩邊建有兩個互相平行的超平面，分隔超平面使兩個平行超平面的距離最大化，步驟如下：(1)導入數據；(2)數據歸一化；(3)執行SVM尋找最優的超平面；(4)繪制分類超平面核支持向量；(5)利用多項式特征在高維空間中執行線性SVM；(6)選擇核函數，執行非線性SVM；

其中，所述濾波器為二維高斯濾波器、中值濾波器或均值濾波器；

104、將序列最小優化算法(SMO)用于訓練所述SVM支持向量機分類法，進行二次優化，其中，一次迭代只優化兩個變量而固定剩余的變量；

105、通過非參數化的蒙特卡洛模擬方法來實現遞推貝葉斯濾波，真實地模擬后續過程，在幀內預測中，每個CTU用來模擬空間顯著性，在幀間預測中，每個編碼塊的分割深度用來模擬時間顯著性。