[發明專利]多模態邊緣實體圖像轉換方法、裝置、計算機設備和介質

在審

• 申請號: 202011320190.7
• 申請日: 2020-11-23
• 公開（公告）號: CN112614198A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 孟云龍
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/08;G06N3/04
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 姜曉云

本申請涉及一種多模態邊緣實體圖像轉換方法、裝置、計算機設備和存儲介質。所述方法包括：獲取終端設備采集的素描邊緣圖像；將素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應素描邊緣圖像的多個實體圖像，多個實體圖像中各實體圖像的內容模態不同，多模態條件生成對抗網絡為基于預設的調控函數確定的差異指標訓練生成，預設的調控函數根據各不同內容模態的實體圖像以及對應各不同內容模態的實體圖像的生成參數確定。采用本方法能夠提升生成的實體圖像的多樣性。

技術領域

本申請涉及圖像生成術領域，特別是涉及一種多模態邊緣實體圖像轉換方法、裝置、計算機設備和介質。

背景技術

在圖像生成與轉換應用中，有時需要根據素描邊緣圖像生成實體圖像，例如，根據手工繪制的包或者是鞋子的邊緣輪廓，轉換為實體場景對應的包或者是鞋子等。

在傳統方式中，通常一種素描邊緣圖像僅能一個實體圖像，從而使得輸出的實體圖像較為單一，缺乏多樣性。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提升生成的實體圖像的多樣性的多模態邊緣實體圖像轉換方法、裝置、計算機設備和介質。

一種多模態邊緣實體圖像轉換方法，所述方法包括：

獲取終端設備采集的素描邊緣圖像；

將素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應素描邊緣圖像的多個實體圖像，多個實體圖像中各實體圖像的內容模態不同，多模態條件生成對抗網絡為基于預設的調控函數確定的差異指標訓練生成，預設的調控函數根據各不同內容模態的實體圖像以及對應各不同內容模態的實體圖像的生成參數確定。

在其中一個實施例中，將素描邊緣圖像輸入多模態條件生成對抗網絡之前，還包括：

對素描邊緣圖像進行圖像尺寸歸一化處理，得到圖像尺寸歸一化處理后的素描邊緣圖像；

將素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應素描邊緣圖像的多個實體圖像，包括：

將圖像尺寸歸一化處理后的素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應尺寸歸一化處理后的素描邊緣圖像的多個實體圖像。

在其中一個實施例中，將素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應素描邊緣圖像的多個實體圖像，包括：

通過多模態條件生成對抗網絡中的編碼器對素描邊緣圖像進行特征提取，生成對應素描邊緣圖像的特征圖；

通過多模態條件生成對抗網絡中的生成器對特征圖進行解碼轉換，得到對應素描邊緣圖像的多個實體圖像。

在其中一個實施例中，通過多模態條件生成對抗網絡中的生成器對特征圖進行解碼轉換，得到對應素描邊緣圖像的多個實體圖像，包括：

通過生成器配置多個不同的生成參數，并根據各生成參數以及特征圖，生成對應素描邊緣圖像的多個實體圖像。

在其中一個實施例中，多模態條件生成對抗網絡的生成方式包括：

獲取訓練集圖像；

將訓練集圖像輸入構建的初始多模態條件生成對抗網絡，并基于確定的各生成參數，生成對應的各預測實體圖像；

根據各預測實體圖像以及訓練集圖像，生成對應各預測實體圖像的各圖像集；

將各圖像集輸入鑒別器進行真偽鑒別，并輸出對應的各鑒別結果；

基于各鑒別結果，調整初始多模態條件生成對抗網絡的網絡參數，并根據預設的迭代次數，對網絡參數調整后的初始多模態條件生成對抗網絡進行迭代訓練，得到訓練完成的多模態條件生成對抗網絡。