[發明專利]信息生成方法和裝置

在審

• 申請號: 202210176112.7
• 申請日: 2022-02-25
• 公開（公告）號: CN114549935A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 黃路揚;牛國成;劉家辰;肖欣延;吳華
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06T11/00;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種信息生成方法，包括：

響應于獲取到目標信息，將所述目標信息轉換為對應的文本向量和圖像向量；

將所述文本向量和所述圖像向量進行拼接，得到目標向量；

基于所述目標向量和生成模型，得到與所述目標信息對應的圖像和文本，其中，所述生成模型基于樣本對訓練得到，所述樣本對包括圖像樣本和文本樣本，所述圖像樣本和所述文本樣本互為標注數據。

2.根據權利要求1所述的方法，其中，所述生成模型通過以下方式訓練得到：

獲取訓練樣本對集；

基于第一損失函數，構建目標損失函數，其中，所述第一損失函數基于第一預測結果、輸入的樣本對構建，所述第一預測結果通過以下方式得到：將樣本對中的圖像樣本或文本樣本進行隨機掩碼，得到掩碼后的樣本對，將所述掩碼后的樣本對對應的目標向量輸入初始生成模型，得到第一預測結果；

基于所述樣本對集和所述目標損失函數，對初始生成模型進行訓練，得到訓練完成的生成模型。

3.根據權利要求2所述的方法，其中，所述基于第一損失函數，構建目標損失函數，包括：

基于第一損失函數和第二損失函數，構建目標損失函數，其中，所述第二損失函數基于第二預測結果、輸入的樣本對構建，所述第二預測結果通過以下方式得到：將樣本對中的圖像樣本或文本樣本對應的目標向量輸入初始生成模型，得到第二預測結果。

4.根據權利要求3所述的方法，其中，所述基于第一損失函數和第二損失函數，構建目標損失函數，包括：

基于第一損失函數、第二損失函數和圖像表示一致性損失函數，構建目標損失函數。

5.根據權利要求2所述的方法，其中，所述基于第一損失函數，構建目標損失函數，包括：

基于第一損失函數和圖像表示一致性損失函數，構建目標損失函數。

6.根據權利要求1所述的方法，其中，所述生成模型通過以下方式訓練得到：

獲取訓練樣本對集；

基于第二損失函數，構建目標損失函數，其中，所述第二損失函數基于第二預測結果、輸入的樣本對構建，所述第二預測結果通過以下方式得到：將樣本對中的圖像樣本或文本樣本對應的目標向量輸入初始生成模型，得到第二預測結果；

基于所述樣本對集和所述目標損失函數，對初始生成模型進行訓練，得到訓練完成的生成模型。

7.根據權利要求6所述的方法，其中，所述基于第二損失函數，構建目標損失函數，包括：

基于第二損失函數和圖像表示一致性損失函數，構建目標損失函數。

8.根據權利要求1所述的方法，其中，所述基于目標向量和生成模型，得到與所述目標信息對應的圖像和文本，包括：

將所述目標向量輸入生成模型，得到初始結果；

響應于確定所述初始結果包含與所述目標信息對應的圖像的序列信息，基于矢量量化變分自動編碼將所述序列信息轉換為圖像。

9.根據權利要求1-8任一所述的方法，其中，所述響應于獲取到目標信息，將所述目標信息轉換為對應的文本向量和圖像向量，包括：

響應于確定獲取的目標信息為文本，將所述文本轉換為對應的文本向量和預設的可訓練的圖像向量。

10.根據權利要求1-8任一所述的方法，其中，所述響應于獲取到目標信息，將所述目標信息轉換為對應的文本向量和圖像向量，包括：

響應于確定獲取的目標信息為圖像，將所述圖像轉換為對應的圖像向量和預設的可訓練的文本向量。

11.根據權利要求1-8任一所述的方法，其中，所述響應于獲取到目標信息，將所述目標信息轉換為對應的文本向量和圖像向量，包括：

響應于確定獲取的目標信息為圖像和文本，將所述圖像和文本轉換為對應的圖像向量和文本向量。