[發明專利]顯著性感知圖像裁剪方法、裝置、計算設備和存儲介質

有效

• 申請號: 202110400578.6
• 申請日: 2021-04-14
• 公開（公告）號: CN113159028B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 袁峰;徐武將;王冕;徐亦飛;李浬;桑葛楠
• 申請（專利權）人: 杭州喔影網絡科技有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/26;G06V10/82;G06N3/04
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 何曉春

本申請涉及一種顯著性感知圖像裁剪方法、裝置、計算設備和存儲介質，其中，該顯著性感知圖像裁剪方法包括裁剪模型訓練和圖像裁剪，其中裁剪模型訓練包括基于所述原始圖像的顯著性區域創建初始裁剪圖，基于初始裁剪圖，以網格錨的方式生成多個候選裁剪圖，然后提取原始圖像的特征，并利用顯著性導向的感興趣區域池化算子和顯著性導向的丟棄區域池化算子對提取圖像特征進行裁剪，得到感興趣區域和丟棄區域的對準特征圖；最后將對準特征圖饋入能夠預測裁剪圖像美學分數的美學評價網絡進行訓練，并得到訓練完備的所述裁剪模型。通過本申請，解決了現有技術中圖像顯著性信息利用不充分、模型可能存在過度擬合的問題。

技術領域

本申請涉及計算機視覺領域，特別是涉及一種顯著性感知圖像裁剪方法、裝置、計算設備和存儲介質。

背景技術

圖像裁剪旨在找到具有最佳美學質量的圖像裁剪物，被廣泛使用于圖像后期處理，視覺推薦和圖像選擇中。在需要裁剪大量圖像時，圖像裁剪變為了一項費力的工作。因此，近年來自動圖像裁剪已經引起了研究界和行業內越來越多的關注。

早期的裁剪方法基于攝影知識（例如三分法和中心法等）明確設計了各種手工操作的特征。隨著深度學習的發展，大量研究人員致力于以數據驅動的方式來開發裁剪方法，以及一些用于比較的基準數據集的發布,極大地促進了相關研究進展。

然而，獲得最佳候選裁剪圖依然是極其困難的，現有的圖像裁剪技術中，顯著性信息僅用于候選裁剪圖的產生，圖像顯著性信息的潛力無法得到完全釋放，模型可能存在過度擬合的問題。針對相關技術中存在圖像顯著性信息利用不充分、模型可能存在過度擬合的問題，目前還沒有提出有效的解決方案。

發明內容

在本實施例中提供了一種顯著性感知圖像裁剪方法、裝置、計算設備和存儲介質，以解決相關技術中存在圖像顯著性信息利用不充分、模型可能存在過度擬合的問題。

第一個方面，在本實施例中提供了一種顯著性感知圖像裁剪方法，包括裁剪模型訓練步驟和圖像裁剪步驟，其中：

所述裁剪模型訓練步驟包括：

獲取原始圖像，并基于所述原始圖像的顯著性區域創建初始裁剪圖；

基于所述初始裁剪圖，以網格錨的方式生成多個候選裁剪圖，所述候選裁剪圖在所述原始圖像中的區域為感興趣區域，所述原始圖像中感興趣區域以外的區域為丟棄區域；

提取所述原始圖像的圖像特征；

利用顯著性導向的感興趣區域池化算子和顯著性導向的丟棄區域池化算子，對提取的所述圖像特征進行裁剪，得到感興趣區域和丟棄區域的對準特征圖；

將所述對準特征圖饋入美學評價網絡進行訓練，得到訓練完備的所述裁剪模型；所述美學評價網絡為能夠預測裁剪圖像美學分數的神經網絡；

所述圖像裁剪步驟包括：

將待裁剪的圖像輸入訓練完備的所述裁剪模型，輸出裁剪圖像。

在其中的一些實施例中，所述基于所述原始圖像的顯著性區域創建初始裁剪圖包括：

將所述原始圖像輸入預設的顯著性目標檢測模型，得到顯著性邊界框，基于所述顯著性邊界框，創建所述初始裁剪圖。

在其中的一些實施例中，所述感興趣區域池化算子為將顯著性信息與可變形位置敏感ROI池化結合，并使用雙線性差值計算的可變形的顯著性位置敏感ROI對準算子；所述丟棄區域池化算子為將顯著性信息與可變形位置敏感ROD池化結合，并使用雙線性差值計算的可變形的顯著性位置敏感ROD對準算子；

所述利用顯著性導向的可變形的顯著性位置敏感ROI對準算子和顯著性導向的可變形的顯著性位置敏感ROD對準算子，對提取的所述圖像特征進行裁剪，得到對準特征圖，包括：