[發明專利]一種基于場景識別的草圖圖像翻譯方法

有效

• 申請號: 202010913017.1
• 申請日: 2020-09-03
• 公開（公告）號: CN111967533B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 周凡;陳茜茜;蘇卓;林淑金;王若梅
• 申請（專利權）人: 中山大學
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/764;G06V10/44;G06V10/56;G06T7/13;G06T11/00;G06T11/80;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于場景識別的草圖圖像翻譯方法。用戶在所選取的場景圖背景上交互式的逐步繪制草圖，系統根據場景識別網絡識別出的場景圖類別對輪廓草圖進行語義匹配得到對象類別，再根據對象類別與草圖，利用部分草圖形狀完成網絡與完整圖像外觀生成網絡進行輪廓與外觀合成，經過交互式的繪制最終生成需要的前景對象圖像。本發明可以允許用戶不用進行整個場景級別的草圖繪制，只需在現有的場景背景圖上描繪前景部分的對象草圖，系統會自動進行與背景場景圖語義匹配的對象完成，使得最終生成的圖像質量與清晰度更高。

技術領域

本發明涉及計算機視覺、圖像處理技術領域，具體涉及一種基于場景識別的草圖圖像翻譯方法。

背景技術

繪制草圖是用于人類表達和傳遞信息的最自然與靈活的途徑之一。近年來隨著觸屏設備的日益普及，在觸屏上以寥寥數筆繪制草圖來表達人類的視覺需求，已經成為重要的人機的交互方式。隨著深度學習在圖像處理領域的蓬勃發展，草圖完成、草圖識別、草圖編輯和草圖檢索等一系列草圖領域的技術應用得以飛速發展。

草圖-圖像翻譯是一類圖像生成任務。結合用戶界面，用戶可以在目標域中利用徒手繪制的抽象草圖快速創建圖像。由于草圖具有高度抽象性，且不同人繪制的草圖在完成的準確度與風格上可能有很大的不同，因此草圖-圖像翻譯問題仍面臨著巨大的挑戰。

場景識別與分類問題是計算機視覺領域中的重要問題。場景由圖像中的局部對象、全局布局和背景環境多級信息組成。隨著深度學習技術的巨大進展，大規模的場景數據集基準(如Place2、Place365等)得以建立，基于深度學習的解決方案取代了基于原始手工提取特征的解決方案，從而更好地促進了場景識別與分類性能的提高。

目前的現有技術之一是Ghosh等的《Interactive sketchfill:Multiclasssketch-to-image translation》所提出的SkinnyResnet網絡結構，該方法根據用戶輸入的類條件，通過對用戶逐步繪制的部分輪廓草圖進行及時反饋，交互式的向用戶推薦合理的草圖完成輪廓并顯示相應的合成圖像，從而有效地幫助新手用戶創建簡單對象的圖像。該方法將交互式圖像生成的問題分為兩個階段：稀疏的用戶草圖對象形狀的完成與完成形狀草圖的外觀合成。但通常一幅圖像中除了單個對象之外，可能還包含有其他多個對象、空間布局與背景環境信息，因此該方法的缺點是：1)生成的空白背景圖片無法很好的適用于圖像識別、圖像檢索等更進一步的圖像任務；2)該方法需要用戶點擊類別按鈕進行類條件選擇，不能夠根據背景圖進行語義匹配自動進行選擇。

目前的現有技術之二是Gao等的《Image Generation from Freehand SceneSketches》所提出的edgeGAN網絡結構，該方法能夠從徒手繪制的場景草圖中可控的生成具有許多對象和關系的逼真圖像，包括：1)通過草圖分割模型首先分割識別出場景草圖中所有的對象實例；2)由前景生成模型edgeGAN生成每個對象實例的圖像內容，edgeGAN學習圖象和圖像邊緣的聯合嵌入，通過屬性向量連接共享屬性空間表示，從而將場景草圖-圖象生成任務轉換為邊緣圖-圖象生成任務，大大降低了收集場景草圖數據的要求，并且可以應對用戶具有不同繪畫風格的挑戰；3)將步驟2中生成的結果聯合背景草圖利用Pix2Pix模型生成最終的場景圖象。缺點是難以如實地再現帶有許多對象和關系的高質量復雜場景。由于不同的用戶具有不同的草圖繪畫風格，現有的技術難以在完全滿足用戶需求的條件下生成逼真的場景圖像。且由于用戶主要關心的是圖象中的前景部分，對于背景部分用戶往往只畫簡單的幾筆，使得場景草圖-圖象翻譯任務仍然面臨著巨大的挑戰。

發明內容

本發明的目的是克服現有方法的不足，提出了一種基于場景識別的草圖圖像翻譯方法。本發明解決的主要問題是，用戶如何在需求的背景場景圖上進行前景草圖的繪制，使得前景草圖的生成類別能夠根據背景場景的內容語義自動進行匹配與控制。

為了解決上述問題，本發明提出了一種基于場景識別的草圖圖像翻譯方法，所述方法包括：