[發明專利]一種基于視覺顯著性和美學分數的圖像裁切裝置及方法

在審

• 申請號: 202010858270.1
• 申請日: 2020-08-24
• 公開（公告）號: CN112017193A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 呂亞奇;熊永春;李云夕
• 申請（專利權）人: 杭州趣維科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/46;G06K9/34;G06K9/32
• 代理公司: 杭州天昊專利代理事務所(特殊普通合伙) 33283
• 代理人: 董世博

一種基于視覺顯著性和美學分數的圖像裁切裝置及方法，所述裝置包括操作模塊、顯著性檢測模塊、裁切處理模塊、美學質量評價模塊以及展示模塊；所述顯著性檢測模塊以及美學質量評價模塊為深度卷積神經網絡；本發明通過設置裁切處理模塊，并根據顯著目標框以及裁切的寬高比，得到初始裁切框，并依次通過單一的裁切框的寬、高以及中心點x、y坐標變換，不需要遍歷顯著目標框，加快裁切速度。

技術領域

本發明涉及圖像分析領域，特別是涉及一種基于視覺顯著性和美學分數的圖像裁切裝置及方法。

背景技術

隨著智能設備的發展，對于智能設備的要求也越來越高，從最初的實現自動化處理，逐步演變為自動、高效處理。其中為了應對對于大量圖片的快速處理，設計了種類繁多的圖片處理軟件，圖片處理軟件能夠對圖片進行自動裁切、美化等操作。其中現有的圖片裁切方法主要包含三類：

第一類是直接從圖像的中心點作為中心開始裁切。該種裁切方法對于目標裁切區域不在圖片中心的情況，適用性差，裁切效果不理想。

第二類是基于人臉信息的識別或者傳統的顯著性算法對圖像進行自動裁切。該種算法對于復雜場景圖像的識別度低，而且裁切圖像進行的過程中需要遍歷顯著圖像才能夠輸出裁切的結果，速度慢，另一方面如果圖像中不存在顯著的目標就會裁切失敗。

第三類是基于深度學習得到的圖像裁切模型，常規的圖像裁切模型由于訓練樣本數量的限制，導致泛化能力差，而且對于圖像裁切區域的寬高比不能夠任意指定，難以適應任意比例的裁切需求。

上述三種圖片裁切方法都包含不足之處，因此急需一種能夠靈活適應任意裁切比例圖像并且容錯率高、泛用性廣的圖像裁切方法。

發明內容

本發明的目的是解決現有技術的不足，提供一種基于視覺顯著性和美學分數的圖像裁切裝置及方法，高效、快速裁切處理大量圖像，使用方便。

一種基于視覺顯著性和美學分數的圖像裁切裝置，包括操作模塊、顯著性檢測模塊、裁切處理模塊、美學質量評價模塊以及展示模塊；操作模塊與顯著性檢測模塊、裁切處理模塊以及展示模塊電性連接，操作模塊將初始圖像信息通過連接線路傳輸到顯著性檢測模塊，將操作指令通過連接線路傳輸到裁切處理模塊；顯著性模塊對圖像的顯著性區域進行識別；裁切處理模塊根據圖像的顯著性區域以及操作指令對圖像進行裁切框劃分，完成裁切框劃分的圖像通過連接線路發送到美學質量評價模塊；美學質量評價模塊經過訓練后能夠對裁切框內的圖像進行評分；美學質量評分最高的圖像會根據裁切框進行裁切，得到的裁切圖像作為最終裁切圖像發送到展示模塊；展示模塊能夠展示最終裁切圖像。

進一步的，所述展示模塊同時展示操作模塊傳輸的初始圖像以及美學質量評價模塊傳輸的最終裁切圖像；所述操作模塊接收操作人員輸入的待裁切的初始圖像以及操作指令，操作指令包括裁切的寬高比。

進一步的，所述顯著性檢測模塊以及美學質量評價模塊為深度卷積神經網絡。

一種基于視覺顯著性和美學分數的圖像裁切方法，包括如下步驟：

步驟S1：操作模塊接收初始圖像和裁切的寬高比，并將初始圖像發送至顯著性檢測模塊，將裁切的寬高比發送至裁切處理模塊；

步驟S2：顯著性檢測模塊接收初始圖像進行顯著性區域檢測，得到帶有顯著目標框的初始圖像，并將帶有顯著目標框的初始圖像發送至裁切處理模塊；

步驟S3：裁切處理模塊根據顯著目標框以及裁切的寬高比得到帶有初始裁切框的初始圖像，并基于初始裁切框生成帶有一組候選裁切框的初始圖像；一組候選裁切框中至少包含一個候選裁切框；將每個候選裁切框與初始圖像進行結合，并根據候選裁切框進行裁切，得到一組候選裁切圖像；將候選裁切圖像發送至美學質量評價模塊；

步驟S4：美學質量評價模塊對每張候選裁切圖像進行美學質量分數的評估，將美學質量分數最高的候選裁切圖像作為最終裁切圖像發送至展示模塊；