[發明專利]多模態邊緣實體圖像轉換方法、裝置、計算機設備和介質

在審

• 申請號: 202011320190.7
• 申請日: 2020-11-23
• 公開（公告）號: CN112614198A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 孟云龍
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/08;G06N3/04
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 姜曉云

1.一種多模態邊緣實體圖像轉換方法，其特征在于，所述方法包括：

獲取終端設備采集的素描邊緣圖像；

將所述素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應所述素描邊緣圖像的多個實體圖像，所述多個實體圖像中各實體圖像的內容模態不同，所述多模態條件生成對抗網絡為基于預設的調控函數確定的差異指標訓練生成，所述預設的調控函數根據各不同內容模態的實體圖像以及對應各不同內容模態的實體圖像的生成參數確定。

2.根據權利要求1所述的方法，其特征在于，所述將所述素描邊緣圖像輸入多模態條件生成對抗網絡之前，還包括：

對所述素描邊緣圖像進行圖像尺寸歸一化處理，得到圖像尺寸歸一化處理后的素描邊緣圖像；

所述將所述素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應所述素描邊緣圖像的多個實體圖像，包括：

將所述圖像尺寸歸一化處理后的素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應所述尺寸歸一化處理后的素描邊緣圖像的多個實體圖像。

3.根據權利要求1所述的方法，其特征在于，所述將所述素描邊緣圖像輸入多模態條件生成對抗網絡，輸出對應所述素描邊緣圖像的多個實體圖像，包括：

通過多模態條件生成對抗網絡中的編碼器對所述素描邊緣圖像進行特征提取，生成對應所述素描邊緣圖像的特征圖；

通過多模態條件生成對抗網絡中的生成器對所述特征圖進行解碼轉換，得到對應所述素描邊緣圖像的多個實體圖像。

4.根據權利要求3所述的方法，其特征在于，所述通過多模態條件生成對抗網絡中的生成器對所述特征圖進行解碼轉換，得到對應所述素描邊緣圖像的多個實體圖像，包括：

通過所述生成器配置多個不同的生成參數，并根據各所述生成參數以及所述特征圖，生成對應所述素描邊緣圖像的多個實體圖像。

5.根據權利要求1所述的方法，其特征在于，所述多模態條件生成對抗網絡的生成方式包括：

獲取訓練集圖像；

將所述訓練集圖像輸入構建的初始多模態條件生成對抗網絡，并基于確定的各生成參數，生成對應的各預測實體圖像；

根據各所述預測實體圖像以及所述訓練集圖像，生成對應各所述預測實體圖像的各圖像集；

將各所述圖像集輸入鑒別器進行真偽鑒別，并輸出對應的各鑒別結果；

基于各所述鑒別結果，調整所述初始多模態條件生成對抗網絡的網絡參數，并根據預設的迭代次數，對網絡參數調整后的初始多模態條件生成對抗網絡進行迭代訓練，得到訓練完成的多模態條件生成對抗網絡。

6.根據權利要求5所述的方法，其特征在于，所述根據預設的迭代次數，對網絡參數調整后的初始多模態條件生成對抗網絡進行迭代訓練之后，還包括：

存儲每一次迭代訓練的初始多模態條件生成對抗網絡以及對應的訓練指標值；

所述得到訓練完成的多模態條件生成對抗網絡，包括：

確定對應最高的訓練指標值的初始多模態條件生成對抗網絡中為訓練完成的多模態條件生成對抗網絡。

7.根據權利要求5所述的方法，其特征在于，所述基于各所述鑒別結果，調整所述初始多模態條件生成對抗網絡的網絡參數，并根據預設的迭代次數，對網絡參數調整后的初始多模態條件生成對抗網絡進行迭代訓練，生成訓練完成的多模態條件生成對抗網絡，包括：

根據各所述鑒別結果，計算所述初始多模態條件生成對抗網絡的損失值，并基于所述損失值對所述初始多模態條件生成對抗網絡的網絡參數進行第一調整，得到第一調整后的初始多模態條件生成對抗網絡；

根據各鑒別結果為真的預測圖像以及對應的各所述生成參數，基于預設的調控函數確定各預測圖像之間的差異指標，并基于各所述差異指標對所述初始多模態條件生成對抗網絡的網絡參數進行第二調整，得到第二調整后的初始多模態條件生成對抗網絡；

根據預設的迭代次數，對第一調整以及第二調整后的初始多模態條件生成對抗網絡進行迭代訓練，得到訓練完成的多模態條件生成對抗網絡。