[發明專利]圖像處理方法、裝置以及存儲介質

在審

• 申請號: 201910362077.6
• 申請日: 2019-04-30
• 公開（公告）號: CN111860555A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 董博
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 方亮

本公開提供了一種圖像處理方法、裝置以及存儲介質，涉及計算機技術領域，其中方法包括：構建生成式對抗網絡模型，生成器根據樣本圖像描述文本獲得生成圖像，生成包含有與樣本草圖和生成圖像的聯合圖像，根據判別器對于聯合圖像、樣本圖像描述文本的判別結果生成目標函數，使用基于目標函數調整后的生成器生成圖像。本公開的圖像處理方法、裝置以及存儲介質，樣本圖像描述文本和樣本草圖能夠互補信息，可以基于樣本圖像描述文本和樣本草圖調整模型，通過調整后的模型生成更加精準的圖像；提供新的對抗網絡模型，提高網絡訓練的效率、生成的圖像的準確度，適用性和魯棒性較好。

技術領域

本公開涉及計算機技術領域，尤其涉及一種圖像處理方法、裝置以及存儲介質。

背景技術

生成式對抗網絡模型是一種生成模型，包含生成器網絡(Generator Network)和判別器網絡(Discriminator Network)，生成器網絡和判別器網絡相互競爭，直至達到平衡。目前的生成式對抗網絡模型只能基于草圖生成與此草圖的圖像特征相同的圖像，在訓練過程中，現有的生成式對抗網絡模型學習特征的速度較為緩慢，并且，基于生成式對抗網絡模型生成的圖像的準確度較差。

發明內容

有鑒于此，本發明要解決的一個技術問題是提供一種圖像處理方法、裝置以及存儲介質。

根據本公開的一個方面，提供一種圖像處理方法，包括：構建通過文本生成圖像的生成式對抗網絡模型；其中，所述的生成式對抗網絡模型包括：生成器和判別器；將樣本圖像描述文本輸入所述生成器，獲得所述生成器輸出的生成圖像；生成包含有與樣本草圖和所述生成圖像的聯合圖像；其中，所述樣本草圖對應的圖像特征與所述圖像樣本描述文本對應的圖像特征相同；將所述聯合圖像、所述樣本圖像描述文本輸入所述判別器，獲得判別結果；根據所述判別結果生成所述生成式對抗網絡模型的目標函數，基于所述目標函數對所述生成器和所述判別器進行調整；使用調整后的所述生成器基于圖像描述文本生成圖像并輸出。

可選地，獲得用于表征所述生成圖像與所述樣本草圖之間的相似度的第一判別結果；獲得用于表征所述生成圖像為假的第二判別結果；和，獲得用于表征所述生成圖像為真的第三判別結果。

可選地，根據所述第一判別結果構建所述生成器的草圖損失函數；根據所述第二判別結果構建所述生成器的語義損失函數；基于所述草圖損失函數和所述語義損失函數構建生成器目標函數；根據所述第三判別結果構建判別器損失函數；基于所述生成器損失函數和所述判別器損失函數生成所述目標函數。

可選地，所述根據所述第一判別結果構建所述生成器的草圖損失函數包括：使用圖像掩碼對所述聯合圖像進行過濾處理，獲得與所述生成圖像對應的生成圖像簡筆圖、與所述樣本草圖相對應的樣本草圖簡筆圖；計算所述生成圖像簡筆圖與所述樣本草圖簡筆圖之間的距離，其中，所述距離為所述第一判別結果，所述距離包括：KL距離、歐式距離；基于所述距離構建用于確定所述生成圖像簡筆圖與所述樣本草圖簡筆圖之間的相似度的所述草圖損失函數；

可選地，所述根據所述第二判別結果構建所述生成器的語義損失函數包括：獲得判別所述生成圖像為假的第一概率信息；其中，所述第一概率信息為所述第二判別結果；基于所述第一概率信息構建所述語義損失函數。

可選地，所述基于所述草圖損失函數和所述語義損失函數構建生成器目標函數包括：確定與所述草圖損失函數或所述語義損失函數相對應的加權值；基于所述草圖損失函數、所述語義損失函數以及所述加權值生成所述生成器目標函數。

可選地，所述將樣本圖像描述文本輸入所述生成器包括：使用編碼器將所述樣本圖像描述文本轉換為用于表示圖像特征的輸入向量；獲得與所述樣本圖像描述文本相對應的隨機變量；將所述輸入向量和所述隨機變量相結合，輸入所述生成器。