[發明專利]一種圖像文件的生成方法、裝置、設備和程序產品

在審

• 申請號: 202310449587.3
• 申請日: 2023-04-18
• 公開（公告）號: CN116597048A
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 郭冬雨;陳斌;周旭;張亞中;陳起進
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06V10/774;G06V10/80;G06V10/82;G06V10/776;G06N3/045;G06N3/0455;G06N3/0464
• 代理公司: 北京乾成律信知識產權代理有限公司 11927
• 代理人: 姚志遠

1.一種圖像文件的生成方法，其特征在于，包括：

根據預設條件優化圖像生成模型；

獲取訓練圖片和訓練文本，所述訓練文本包括圖像主題信息；

根據所述訓練圖片和所述訓練文本對所述圖像生成模型進行微調；

根據輸入的信息，通過已微調的所述圖像生成模型生成圖像文件。

2.根據權利要求1所述的方法，其特征在于，根據預設條件優化圖像生成模型，包括：

通過所述圖像生成模型進行編碼；

根據所述預設條件生成控制向量；

根據所述控制向量進行解碼，以控制所述圖像生成模型的輸出結果。

3.根據權利要求1所述的方法，其特征在于，根據所述訓練圖片和所述訓練文本對所述圖像生成模型進行微調，包括：

根據所述訓練圖片和所述訓練文本對所述圖像生成模型進行初始微調；

根據所述訓練圖片對已經過所述初始微調的所述圖像生成模型進行二次微調。

4.根據權利要求3所述的方法，其特征在于，根據所述訓練圖片和所述文本信息對所述圖像生成模型進行初始微調，包括：

設置所述圖像生成模型的損失函數；

結合所述文本信息將所述訓練圖片輸入所述圖像生成模型，以獲取先驗圖片；

根據所述訓練圖片和所述先驗圖片更新所述損失函數。

5.根據權利要求3所述的方法，其特征在于，根據所述訓練圖片對已經過初始微調的所述圖像生成模型進行二次微調，包括：

獲取所述訓練圖片對應的下采樣圖片；

根據所述下采樣圖片和所述訓練圖片生成下采樣-訓練圖片組合；

通過所述下采樣-訓練圖片組合更新所述圖像生成模型。

6.根據權利要求1所述的方法，其特征在于，根據輸入的信息，通過已微調的所述圖像生成模型生成圖像文件，包括：

根據所述預設條件輸入圖像主題文本；

根據所述圖像主題文本通過已微調的所述圖像生成模型生成所述圖像文件。

7.根據權利要求6所述的方法，其特征在于，所述圖像主題文本包括與所述訓練文本的圖像主題信息匹配的關鍵字信息。

8.一種圖像文件的生成裝置，其特征在于，包括：

數據采集模塊，用于獲取訓練圖片和訓練文本；獲取圖像主題文本；

數據處理模塊，用于設置并根據預設條件優化圖像生成模型；根據所述訓練圖片和所述訓練文本對所述圖像生成模型進行初始微調及二次微調；根據所述圖像主題文本通過已微調的所述圖像生成模型生成圖像文件；

輸出模塊，輸出所述圖像文件。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得一個或多個處理器實現如權利要求1-7中任一所述的方法。

10.一種計算機程序產品，包括計算機程序或指令，其特征在于，所述計算機程序或指令被處理器執行時實現如權利要求1-7中任一項所述的方法。