[發明專利]圖像顯著性區域的檢測方法及裝置、存儲介質及電子設備

有效

• 申請號: 202310893629.2
• 申請日: 2023-07-20
• 公開（公告）號: CN116612122B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 周士琪;羅準;譚嵩;李云龍
• 申請（專利權）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06V10/46;G06V10/80;G06V20/40
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李偉

1.一種圖像顯著性區域的檢測方法，其特征在于，包括：

獲取待處理視頻幀；

利用顯著性特征提取模型提取所述待處理視頻幀的顯著性特征；

對所述顯著性特征進行語義增強處理，得到語義增強特征；

對所述語義增強特征進行多尺度增強處理，獲取多尺度增強特征；

對所述多尺度增強特征進行處理，獲取所述待處理視頻幀的顯著性區域檢測結果；

其中，所述對所述顯著性特征進行語義增強處理，得到語義增強特征，包括：

獲取所述顯著性特征中的各個顯著性特征因子；

對各個所述顯著性特征因子進行處理，獲取全局語義增強向量；

對所述全局語義增強向量進行處理，得到每個所述顯著性特征因子的語義增強向量；

對于每個所述顯著性特征因子，將所述顯著性特征因子和所述顯著性特征因子的語義增強向量進行融合，得到所述顯著性特征因子的語義增強特征因子；

基于各個所述語義增強特征因子，得到語義增強特征。

2.根據權利要求1所述的方法，其特征在于，還包括：

基于所述顯著性區域檢測結果，對所述待處理視頻幀的碼率進行重分配。

3.根據權利要求1所述的方法，其特征在于，所述顯著性特征提取模型由輕量化網絡組成，所述輕量化網絡的總下采樣率調整為預設數值，并且所述輕量化網絡中設置空洞卷積。

4.根據權利要求1所述的方法，其特征在于，所述獲取待處理視頻幀，包括：

獲取視頻，從所述視頻中獲取初始視頻幀；

對所述初始視頻幀進行格式轉換，得到轉換視頻幀；

對所述轉換視頻幀進行降采樣處理，得到降采樣視頻幀；

對所述降采樣視頻幀的邊界進行填充，得到填充視頻幀；

對所述填充視頻幀進行歸一化處理，得到歸一化視頻幀，并將所述歸一化視頻幀確定為待處理視頻幀。

5.根據權利要求1所述的方法，其特征在于，所述對所述語義增強特征進行多尺度增強處理，獲取多尺度增強特征，包括：

對所述語義增強特征中的各個語義增強因子進行處理，得到每個所述語義增強因子的多尺度特征因子；

將各個所述多尺度特征因子進行融合，得到多尺度增強特征。

6.一種圖像顯著性區域的檢測裝置，其特征在于，包括：

獲取單元，用于獲取待處理視頻幀；

提取單元，用于利用顯著性特征提取模型提取所述待處理視頻幀的顯著性特征；

第一處理單元，用于對所述顯著性特征進行語義增強處理，得到語義增強特征；

第二處理單元，用于對所述語義增強特征進行多尺度增強處理，獲取多尺度增強特征；

第三處理單元，用于對所述多尺度增強特征進行處理，獲取所述待處理視頻幀的顯著性區域檢測結果；

其中，所述第一處理單元，包括：

第二獲取子單元，用于獲取所述顯著性特征中的各個顯著性特征因子；

第三獲取子單元，用于對各個所述顯著性特征因子進行處理，獲取全局語義增強向量；

第一處理子單元，用于對所述全局語義增強向量進行處理，得到每個所述顯著性特征因子的語義增強向量；

第二融合子單元，用于對于每個所述顯著性特征因子，將所述顯著性特征因子和所述顯著性特征因子的語義增強向量進行融合，得到所述顯著性特征因子的語義增強特征因子；

獲得子單元，用于基于各個所述語義增強特征因子，得到語義增強特征。

7.根據權利要求6所述的裝置，其特征在于，還包括：

分配單元，用于基于所述顯著性區域檢測結果，對所述待處理視頻幀的碼率進行重分配。

8.一種存儲介質，其特征在于，所述存儲介質包括存儲的指令，其中，在所述指令運行時控制所述存儲介質所在的設備執行如權利要求1-5任意一項所述的圖像顯著性區域的檢測方法。

9.一種電子設備，其特征在于，包括存儲器，以及一個或者一個以上的指令，其中一個或者一個以上指令存儲于存儲器中，且經配置以由一個或者一個以上處理器執行如權利要求1-5任意一項所述的圖像顯著性區域的檢測方法。