[發明專利]目標對象的生成方法、裝置、電子設備以及存儲介質

有效

• 申請號: 202110736097.2
• 申請日: 2021-06-30
• 公開（公告）號: CN113590858B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 李宇琨;張涵;尹維沖;肖東凌;孫宇;田浩
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/538
• 分類號: G06F16/538;G06F16/583
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種目標對象的生成方法，包括：

對原始對象進行離散編碼，以生成所述原始對象對應的第一離散編碼序列，其中，所述原始對象的類型，為圖像或文本中的一個或者圖像和文本的組合；

將所述第一離散編碼序列輸入生成模型，以得到第二離散編碼序列；

根據所述第二離散編碼序列，生成目標對象，其中，所述目標對象的類型為圖像或文本中的一個，且所述原始對象的類型為圖像或文本中的一個時，所述目標對象的類型為文本或圖像中的另一個。

2.根據權利要求1所述的方法，其中，所述原始對象的類型為圖像，所述對原始對象進行離散編碼，以生成所述原始對象對應的第一離散編碼序列，包括：

利用向量量化變分自動編碼器vq-vae的編碼層，將所述原始對象對應的連續編碼轉換為第一連續編碼向量；

基于所述vq-vae中的編碼表，通過最鄰近搜索，將所述第一連續編碼向量轉換為第一離散編碼向量；

根據預設的離散編碼方式，將所述第一離散編碼向量轉換為所述第一離散編碼序列。

3.根據權利要求2所述的方法，其中，所述目標對象的類型為文本，所述根據所述第二離散編碼序列，生成目標對象，包括：

根據所述預設的離散編碼方式對應的離散解碼方式，將所述第二離散編碼序列，轉換為所述目標對象。

4.根據權利要求1所述的方法，其中，所述原始對象的類型為文本，所述對原始對象進行離散編碼，以生成所述原始對象對應的第一離散編碼序列，包括：

利用預設的離散編碼方式，將所述原始對象轉換為所述第一離散編碼序列。

5.根據權利要求4所述的方法，其中，所述目標對象的類型為圖像，所述根據所述第二離散編碼序列，生成目標對象，包括：

根據所述預設的離散編碼方式對應的離散解碼方式，將所述第二離散編碼序列轉換為第二離散編碼向量；

基于vq-vae中的編碼表，通過最鄰近搜索，將所述第二離散編碼向量轉換為第二連續編碼向量；

利用所述vq-vae的解碼層，將所述第二連續編碼向量轉換為所述目標對象對應的連續編碼，以生成所述目標對象。

6.根據權利要求1所述的方法，其中，所述原始對象的類型為圖像和文本的組合，所述對原始對象進行離散編碼，以生成所述原始對象對應的第一離散編碼序列，包括：

對類型為圖像的所述原始對象進行離散編碼，得到第三離散編碼序列；

對類型為文本的所述原始對象進行離散編碼，得到第四離散編碼序列；

將所述第三離散編碼序列和所述第四離散編碼序列進行拼接，得到所述第一離散編碼序列。

7.根據權利要求1-6任一項所述的方法，其中，所述將所述第一離散編碼序列輸入生成模型，以得到第二離散編碼序列之前，還包括：

獲取訓練數據；其中，所述訓練數據包括多個樣本對，其中，每個所述樣本對包括樣本文本對應的樣本離散編碼序列以及樣本圖像對應的樣本離散編碼序列，其中，所述樣本文本與所述樣本圖像具有圖文轉換關系；

獲取初始的生成模型；

將所述樣本對輸入所述初始的生成模型，得到所述樣本文本對應的預測離散編碼序列以及所述樣本圖像對應的預測離散編碼序列；

根據所述樣本文本對應的預測離散編碼序列與對應樣本圖像對應的樣本離散編碼序列之間的第一差異，以及所述樣本圖像對應的預測離散編碼序列與對應樣本文本對應的樣本離散編碼序列之間的第二差異，對所述初始的生成模型的模型參數進行調整，以得到經過訓練的所述生成模型。

8.根據權利要求1所述的方法，其中，所述生成模型的框架為參數共享的序列到序列seqtoseq框架。