[發明專利]多模態實景地圖圖像生成方法、裝置、計算機設備和介質

在審

• 申請號: 202011321372.6
• 申請日: 2020-11-23
• 公開（公告）號: CN112669408A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 孟云龍
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06T11/20
• 分類號: G06T11/20;G06N3/08;G06N3/04
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 姜曉云

本申請涉及一種多模態實景地圖圖像生成方法、裝置、計算機設備和存儲介質。所述方法包括：獲取初始地圖圖像；將初始地圖圖像輸入多模態條件生成對抗網絡，輸出對應初始地圖圖像的多個實景地圖圖像，多個實景地圖圖像中各實景地圖圖像的內容模態不同，多模態條件生成對抗網絡為基于預設的調控函數確定的差異指標訓練生成，預設的調控函數根據各不同內容模態的實景地圖圖像以及對應各不同內容模態的實景地圖圖像的生成參數確定。采用本方法能夠提升生成的實景地圖圖像的多樣性。

技術領域

本申請涉及圖像生成術領域，特別是涉及一種多模態實景地圖圖像生成方法、裝置、計算機設備和介質。

背景技術

在大數據技術的發展，在應用大數據技術時，會需要大批量數據，以進行后續的數據應用。例如，在實景地圖圖像識別應用場景中，需要用到大批量的實景地圖圖像等。

在傳統方式中，通常是通過經典條件生成對抗網絡(conditional generativeadversarial networks)，基于獲取的初始地圖圖像，構建實景地圖圖像。

但是，傳統的條件生成對抗網絡中，存在模式坍塌的問題(mode collapseproblem)，使得輸入一個初始地圖圖像僅能輸出一個實景地圖圖像，輸出實景地圖圖像較為單一，缺乏多樣性。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提升生成的實景地圖圖像的多樣性的多模態實景地圖圖像生成方法、裝置、計算機設備和介質。

一種多模態實景地圖圖像生成方法，所述方法包括：

獲取初始地圖圖像；

將初始地圖圖像輸入多模態條件生成對抗網絡，輸出對應初始地圖圖像的多個實景地圖圖像，多個實景地圖圖像中各實景地圖圖像的內容模態不同，多模態條件生成對抗網絡為基于預設的調控函數確定的差異指標訓練生成，預設的調控函數根據各不同內容模態的實景地圖圖像以及對應各不同內容模態的實景地圖圖像的生成參數確定。

在其中一個實施例中，將初始地圖圖像輸入多模態條件生成對抗網絡之前，還包括：

對初始地圖圖像進行圖像尺寸歸一化處理，得到圖像尺寸歸一化處理后的初始地圖圖像；

將初始地圖圖像輸入多模態條件生成對抗網絡，輸出對應初始地圖圖像的多個實景地圖圖像，包括：

將圖像尺寸歸一化處理后的初始地圖圖像輸入多模態條件生成對抗網絡，輸出對應尺寸歸一化處理后的初始地圖圖像的多個實景地圖圖像。

在其中一個實施例中，將初始地圖圖像輸入多模態條件生成對抗網絡，輸出對應初始地圖圖像的多個實景地圖圖像，包括：

通過多模態條件生成對抗網絡中的編碼器對初始地圖圖像進行特征提取，生成對應初始地圖圖像的特征圖；

通過多模態條件生成對抗網絡中的生成器對特征圖進行解碼轉換，得到對應初始地圖圖像的多個實景地圖圖像。

在其中一個實施例中，通過多模態條件生成對抗網絡中的生成器對特征圖進行解碼轉換，得到對應初始地圖圖像的多個實景地圖圖像，包括：

通過生成器配置多個不同的生成參數，并根據各生成參數以及特征圖，生成對應初始地圖圖像的多個實景地圖圖像。

在其中一個實施例中，多模態條件生成對抗網絡的生成方式包括：

獲取訓練集圖像；

將訓練集圖像輸入構建的初始多模態條件生成對抗網絡，并基于確定的各生成參數，生成對應的各預測地圖圖像；

根據各預測地圖圖像以及訓練集圖像，生成對應各預測地圖圖像的各圖像集；