[發明專利]圖像處理方法、裝置以及存儲介質

在審

• 申請號: 201910362077.6
• 申請日: 2019-04-30
• 公開（公告）號: CN111860555A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 董博
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 方亮

1.一種圖像處理方法，包括：

構建通過文本生成圖像的生成式對抗網絡模型；其中，所述的生成式對抗網絡模型包括：生成器和判別器；

將樣本圖像描述文本輸入所述生成器，獲得所述生成器輸出的生成圖像；

生成包含有與樣本草圖和所述生成圖像的聯合圖像；其中，所述樣本草圖對應的圖像特征與所述圖像樣本描述文本對應的圖像特征相同；

將所述聯合圖像、所述樣本圖像描述文本輸入所述判別器，獲得判別結果；

根據所述判別結果生成所述生成式對抗網絡模型的目標函數，基于所述目標函數對所述生成器和所述判別器進行調整；

使用調整后的所述生成器基于圖像描述文本生成圖像并輸出。

2.如權利要求1所述的方法，所述獲得判別結果信息包括：

獲得用于表征所述生成圖像與所述樣本草圖之間的相似度的第一判別結果；

獲得用于表征所述生成圖像為假的第二判別結果；和，

獲得用于表征所述生成圖像為真的第三判別結果。

3.如權利要求2所述的方法，還包括：

根據所述第一判別結果構建所述生成器的草圖損失函數；

根據所述第二判別結果構建所述生成器的語義損失函數；

基于所述草圖損失函數和所述語義損失函數構建生成器目標函數；

根據所述第三判別結果構建判別器損失函數；

基于所述生成器損失函數和所述判別器損失函數生成所述目標函數。

4.如權利要求3所述的方法，所述根據所述第一判別結果構建所述生成器的草圖損失函數包括：

使用圖像掩碼對所述聯合圖像進行過濾處理，獲得與所述生成圖像對應的生成圖像簡筆圖、與所述樣本草圖相對應的樣本草圖簡筆圖；

計算所述生成圖像簡筆圖與所述樣本草圖簡筆圖之間的距離，其中，所述距離為所述第一判別結果，所述距離包括：KL距離、歐式距離；

基于所述距離構建用于確定所述生成圖像簡筆圖與所述樣本草圖簡筆圖之間的相似度的所述草圖損失函數。

5.如權利要求4所述的方法，所述根據所述第二判別結果構建所述生成器的語義損失函數包括：

獲得判別所述生成圖像為假的第一概率信息；其中，所述第一概率信息為所述第二判別結果；

基于所述第一概率信息構建所述語義損失函數。

6.如權利要求5所述的方法，所述基于所述草圖損失函數和所述語義損失函數構建生成器目標函數包括：

確定與所述草圖損失函數或所述語義損失函數相對應的加權值；

基于所述草圖損失函數、所述語義損失函數以及所述加權值生成所述生成器目標函數。

7.如權利要求6所述的方法，所述將樣本圖像描述文本輸入所述生成器包括：

使用編碼器將所述樣本圖像描述文本轉換為用于表示圖像特征的輸入向量；

獲得與所述樣本圖像描述文本相對應的隨機變量；

將所述輸入向量和所述隨機變量相結合，輸入所述生成器。

8.如權利要求7所述的方法，其中，

所述生成器目標函數為：

L1＝D_KL(M⊙y，M⊙G(z，φ(t)))+λlog(1-D(G(z，φ(t))))；

其中，M為圖像掩碼，z為所述隨機變量，φ(t)為所述輸入向量，y為所述樣本草圖，G(z，φ(t)為所述生成圖像，M⊙y為所述樣本草圖簡筆圖，M⊙G(z，φ(t))為所述生成圖像簡筆圖，D_KL為所述草圖損失函數，D(G(z，φ(t))為生成器輸出的所述生成圖像為與所述樣本圖像描述文本相對應的真實圖像的概率；1-D(G(z，φ(t))為所述第一概率信息，λ為所述加權值。

9.如權利要求6所述的方法，所述根據所述第三判別結果構建判別器損失函數包括：

獲得判別所述生成圖像為真的第二概率信息；其中，所述第二概率信息為所述第三判別結果；

基于所述第二概率信息構建所述判別器損失函數。