[發明專利]基于圖像語義理解的圖像裁切方法、系統、設備和介質

在審

• 申請號: 202010206880.3
• 申請日: 2020-03-23
• 公開（公告）號: CN111462121A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 羅超;黃小虎;吉聰睿;李巍
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

本發明公開了基于圖像語義理解的圖像裁切方法、系統、設備和介質，基于圖像語義理解的圖像裁切方法包括以下步驟：獲取圖像語義分割模型；將待裁切圖像輸入至所述圖像語義分割模型中，以得到圖像語義分割結果；根據所述圖像語義分割結果獲取所述待分割圖像的感興趣區域；獲取所述感興趣區域的重心；以所述感興趣區域的重心為裁切中心，獲取裁切窗口，并對所述待裁切圖像進行裁切。本發明基于圖像語義理解的方法對圖像進行裁切，確保裁切后的圖像主體更加完整。

技術領域

本發明涉及圖像語義理解、圖像分割技術領域，特別涉及一種基于圖像語義理解的圖像裁切方法、系統、設備和介質。

背景技術

圖像作為一種直接、高效的展現方式，對用戶體驗、訂單轉化有著直接、重要的影響。尤其是酒店圖像的展現方式，對用戶體驗、訂單轉化有著更重要的影響。通常情況下，酒店在后端上傳的圖片，到前端展示頁面時，會根據不同的展示頁面，將圖像切成對應的不同尺寸。具體來講就是，APP(Application，應用程序)中不同展示頁面的圖像往往以不同的縱橫比切圖展示。當前的切圖算法直接以原圖中心為圖像裁切點，剪裁較為粗糙，造成切圖后關鍵內容和關鍵目標的丟失，容易給用戶造成誤導，用戶體驗較差。

發明內容

本發明要解決的技術問題是為了克服現有技術基于圖像中心裁切方法使目標主體展示不完整的缺陷，提供一種基于圖像語義理解的圖像裁切方法、系統、設備和介質。

本發明是通過下述技術方案來解決上述技術問題：

本發明提供一種基于圖像語義理解的圖像裁切方法，所述基于圖像語義理解的圖像裁切方法包括：

獲取圖像語義分割模型；

將待裁切圖像輸入至所述圖像語義分割模型中，以得到圖像語義分割結果；

根據所述圖像語義分割結果獲取所述待裁切圖像的感興趣區域；

獲取所述感興趣區域的重心；

以所述感興趣區域的重心為裁切中心，獲取裁切窗口，并對所述待裁切圖像進行裁切。

較佳地，所述獲取圖像語義分割模型的步驟包括：

獲取圖像，對所述圖像進行縮放，并將所述圖像通過骨干網絡進行特征提取，以得到特征圖像；所述骨干網絡包括多層CNN網絡結構；

基于所述特征圖像，進行特征融合，以得到融合特征圖像；

對所述融合特征圖像進行卷積操作，并通過softmax函數獲取每個維度的最大概率值，以得到待訓練的圖像語義分割模型；

獲取待訓練的圖像，并將圖像輸入至所述待訓練的圖像語義分割模型中進行訓練，以得到圖像語義分割模型。

較佳地，所述基于所述特征圖像，進行特征融合，以得到融合特征圖像的步驟包括：

對所述特征圖像，采用四組不同感受野的池化層進行池化操作，以得到對應的四組第一特征圖像；

將所述四組第一特征圖像連接到1×1×C/4的卷積核，分別進行卷積，以得到對應的四組第二特征圖像；

對所述四組第二特征圖像，采用雙線性差值法進行采樣操作，以得到對應的四組第三特征圖像；

基于所述四組第三特征圖像和所述特征圖像，依據通道維度連接，以得到所述融合特征圖像。

較佳地，所述根據所述圖像語義分割結果獲取所述待裁切圖像的感興趣區域的步驟包括：

對于不同類別的待裁切圖像對應預設不同的感興趣類別；

所述圖像語義分割結果包括所述待裁切圖像中每個像素點的類別，以及根據不同像素點的類別劃分出的不同區域；