[發明專利]顯著性感知圖像裁剪方法、裝置、計算設備和存儲介質

有效

• 申請號: 202110400578.6
• 申請日: 2021-04-14
• 公開（公告）號: CN113159028B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 袁峰;徐武將;王冕;徐亦飛;李浬;桑葛楠
• 申請（專利權）人: 杭州喔影網絡科技有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/26;G06V10/82;G06N3/04
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 何曉春

1.一種顯著性感知圖像裁剪方法，其特征在于，包括裁剪模型訓練步驟和圖像裁剪步驟，其中：

所述裁剪模型訓練步驟包括：

獲取原始圖像，并基于所述原始圖像的顯著性區域創建初始裁剪圖；

基于所述初始裁剪圖，以網格錨的方式生成多個候選裁剪圖，所述候選裁剪圖在所述原始圖像中的區域為感興趣區域，所述原始圖像中感興趣區域以外的區域為丟棄區域；

提取所述原始圖像的圖像特征；

利用顯著性導向的感興趣區域池化算子和顯著性導向的丟棄區域池化算子，對提取的所述圖像特征進行裁剪，得到感興趣區域和丟棄區域的對準特征圖；

將所述對準特征圖饋入美學評價網絡進行訓練，得到訓練完備的所述裁剪模型；所述美學評價網絡為能夠預測裁剪圖像美學分數的神經網絡；

其中，所述感興趣區域池化算子為將顯著性信息與可變形位置敏感ROI池化結合，并使用雙線性差值計算的可變形的顯著性位置敏感ROI對準算子；所述丟棄區域池化算子為將顯著性信息與可變形位置敏感ROD池化結合，并使用雙線性差值計算的可變形的顯著性位置敏感ROD對準算子；

利用顯著性導向的可變形的顯著性位置敏感ROI對準算子和顯著性導向的可變形的顯著性位置敏感ROD對準算子，對提取的所述圖像特征進行裁剪，得到對準特征圖，包括：

利用所述可變形的顯著性位置敏感ROI對準算子，將原始圖像的特征圖轉化為第一感興趣區域對準特征圖；

將所述丟棄區域按照預設的模式分為四個組件，并用所述可變形的顯著性位置敏感ROD對準算子將所述四個組件進行對準，并將對準后的所述四個組件進行連接，得到第一丟棄區域對準特征圖；

將所述第一感興趣區域對準特征圖和第一丟棄區域對準特征圖進行連接，得到第一對準特征圖；

所述圖像裁剪步驟包括：

將待裁剪的圖像輸入訓練完備的所述裁剪模型，輸出裁剪圖像。

2.根據權利要求1所述的顯著性感知圖像裁剪方法，其特征在于，所述基于所述原始圖像的顯著性區域創建初始裁剪圖包括：

將所述原始圖像輸入預設的顯著性目標檢測模型，得到顯著性邊界框，基于所述顯著性邊界框，創建所述初始裁剪圖。

3.根據權利要求1所述的顯著性感知圖像裁剪方法，其特征在于，所述將所述對準特征圖饋入美學評價網絡進行訓練的過程包括：將所述第一對準特征圖和所述第一丟棄區域對準特征圖饋入所述美學評價網絡；

所述美學評價網絡的損失函數為排名損失函數和得分損失函數的加權；

所述排名損失函數為：所述第一丟棄區域對準特征圖的預測美學分數與所述第一對準特征圖的預測美學分數的差值和0之中的最大值；

所述得分損失函數為根據每個候選裁剪圖的實際美學得分和預測美學分數計算的Huber損失函數，所述候選裁剪圖的所述預測美學分數為所述第一對準特征圖的所述預測美學分數。

4.根據權利要求1所述的顯著性感知圖像裁剪方法，其特征在于，所述美學評價網絡為由兩個相同的全連接網絡構成的孿生網絡。

5.根據權利要求1所述的顯著性感知圖像裁剪方法，其特征在于，利用特征提取網絡來提取所述原始圖像的圖像特征；

所述特征提取網絡包括基礎網絡模塊和特征聚合模塊，所述基礎網絡模塊用于捕獲所述原始圖像的圖像特征，所述特征聚合模塊用于補償特征提取期間的全局上下文和多尺度上下文的損失，所述基礎網絡模塊包括卷積神經網絡模型。

6.根據權利要求5所述的顯著性感知圖像裁剪方法，其特征在于，所述特征聚合模塊中采用不同尺度的平均池化來生成不同尺寸的特征圖，將所述特征圖附加到3×3的卷積層上，通過雙線性插值對所述特征圖進行上采樣以獲得與基礎網絡最后一層的原始特征圖相同尺寸的所述特征圖，連接來自不同子分支的上采樣特征圖。

7.根據權利要求6所述的顯著性感知圖像裁剪方法，其特征在于，所述基礎網絡設置有跳躍連接。