[發明專利]圖像生成方法、裝置、設備及存儲介質

有效

• 申請號: 202310969506.2
• 申請日: 2023-08-03
• 公開（公告）號: CN116704079B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 郭卉
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 孫曉麗

本申請公開了一種圖像生成方法、裝置、設備及存儲介質，涉及人工智能技術領域。方法包括：獲取至少一個圖文對，每個圖文對中包括具有匹配關系的一張原始圖像、原始圖像對應的編輯文本和固定文本；根據原始圖像得到固定文本的調整后文本表征，固定文本的調整后文本表征與原始圖像的內容有關；根據原始圖像和固定文本的調整后文本表征，對圖像生成模型的參數進行調整，得到調整后的圖像生成模型；其中，調整后的圖像生成模型學習了固定文本所描述的不發生變化的圖像內容；通過調整后的圖像生成模型根據原始圖像、編輯文本以及固定文本的調整后文本表征，生成原始圖像對應的編輯后圖像。上述方法提升了生成的編輯后圖像的準確度。

技術領域

本申請涉及人工智能（Artificial?Intelligence，簡稱AI）技術領域，特別涉及一種圖像生成方法、裝置、設備及存儲介質。

背景技術

隨著圖生圖（image-to-image）技術的持續發展，用戶可以同時輸入編輯文本和原始圖像，得到針對原始圖像的編輯后圖像。在一種圖像編輯任務時，需要保持原始圖像中的部分對象不發生變化，而其他部分發生變化。例如，原始圖像是戴帽子的女孩，編輯文本是戴帽子的男孩，則通過模型能夠得到一張編輯后圖像，該編輯后圖像是保持原始圖像中的帽子不變，而將女孩換成男孩。

相關技術中，需要利用三元組樣本（原始圖像、編輯后圖像、編輯文本）來對模型進行上述圖生成能力的訓練，訓練后的模型能夠實現根據輸入的編輯文本來對原始圖像進行編輯，得到編輯后圖像。

然而，上述訓練方法中三元組樣本的數量較少，且三元組樣本中的編輯后圖像可能會存在偏差，導致三元組樣本自身的準確度不高。因此通過三元組樣本訓練出來的模型生成的編輯后圖像中相對于原始圖像中不應該發生變化的對象（例如上述帽子）容易發生變化，從而使得生成的編輯后圖像的準確度也較低。

發明內容

本申請實施例提供了一種圖像生成方法、裝置、設備及存儲介質，能夠提升生成的編輯后圖像的準確度。所述技術方案包括如下幾方面。

根據本申請實施例的一個方面，提供了一種圖像生成方法，所述方法包括以下步驟。

獲取至少一個圖文對，每個圖文對中包括具有匹配關系的一張原始圖像、所述原始圖像對應的編輯文本和固定文本，所述編輯文本用于對所述原始圖像進行編輯，所述固定文本用于描述所述原始圖像在編輯前后不發生變化的圖像內容。

根據所述原始圖像得到所述固定文本的調整后文本表征，所述固定文本的調整后文本表征與所述原始圖像的內容有關。

根據所述原始圖像和所述固定文本的調整后文本表征，對圖像生成模型的參數進行調整，得到調整后的圖像生成模型；其中，所述調整后的圖像生成模型學習了所述固定文本所描述的所述不發生變化的圖像內容。

通過所述調整后的圖像生成模型根據所述原始圖像、所述編輯文本以及所述固定文本的調整后文本表征，生成所述原始圖像對應的編輯后圖像。

根據本申請實施例的一個方面，提供了一種圖像生成裝置，所述裝置包括以下模塊。

圖文對獲取模塊，用于獲取至少一個圖文對，每個圖文對中包括具有匹配關系的一張原始圖像、所述原始圖像對應的編輯文本和固定文本，所述編輯文本用于對所述原始圖像進行編輯，所述固定文本用于描述所述原始圖像在編輯前后不發生變化的圖像內容。

表征調整模塊，用于根據所述原始圖像得到所述固定文本的調整后文本表征，所述固定文本的調整后文本表征與所述原始圖像的內容有關。

參數調整模塊，用于根據所述原始圖像和所述固定文本的調整后文本表征，對圖像生成模型的參數進行調整，得到調整后的圖像生成模型；其中，所述調整后的圖像生成模型學習了所述固定文本所描述的所述不發生變化的圖像內容。