[發明專利]信息生成方法和裝置

在審

• 申請號: 202210176112.7
• 申請日: 2022-02-25
• 公開（公告）號: CN114549935A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 黃路揚;牛國成;劉家辰;肖欣延;吳華
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06T11/00;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開提供了信息生成方法和裝置，具體涉及計算機視覺和自然語言處理技術領域。具體實現方案為：響應于獲取到目標信息，將目標信息轉換為對應的文本向量和圖像向量；將文本向量和圖像向量進行拼接，得到目標向量；基于目標向量和生成模型，得到與目標信息對應的圖像和文本。該方式實現了圖像和描述文本的同時生成。

技術領域

本公開涉及計算機技術領域，具體涉及計算機視覺和自然語言處理技術領域，尤其涉及一種信息生成方法和裝置。

背景技術

現有的技術將圖片生成文字，文字生成圖片作為兩個子任務處理，使用圖片-文字對作為訓練數據訓練模型，根據不同的任務，設計不同的模型：

(1)圖像描述生成：以OSCAR(Object-Semantics Aligned Pre-training forVision-Language Tasks，面向視覺語言任務的對象語義對齊預訓練模型),UNIMO(TowardsUnifified-Modal Understanding and Generation via Cross-Modal ContrastiveLearning，跨模態對比學習的統一模態理解和生成)為代表的Transformer Encoder預訓練模型，模型先使用目標識別模型提取圖片中的關鍵目標信息，將目標信息作為一維序列輸入Transformer Encoder模型，并自回歸生成描述。

(2)文本生成圖像模型：分為基于Transformer的文生圖模型和基于CNN(Convolutional Neural Networks，卷積神經網絡)的文生圖模型。DALL.E是基于Transformer decoder的文生圖模型，DALL.E使用dVAE(discrete variationalautoencoder，離散化變分自編碼器)離散化編碼圖像，自回歸地生成圖像標識，并通過dVAE的解碼器還原圖片。

發明內容

本公開實施例提供了一種信息生成方法、裝置、設備以及存儲介質。

第一方面，本公開實施例提供了一種信息生成方法，該方法包括：響應于獲取到目標信息，將目標信息轉換為對應的文本向量和圖像向量；將文本向量和所述圖像向量進行拼接，得到目標向量；基于目標向量和生成模型，得到與目標信息對應的圖像和文本。

第二方面，本公開實施例提供了一種信息生成裝置，該裝置包括：獲取模塊，被配置成響應于獲取到目標信息，將目標信息轉換為對應的文本向量和圖像向量；拼接模塊，被配置成將文本向量和圖像向量進行拼接，得到目標向量；生成模塊，被配置成基于目標向量和生成模型，得到與目標信息對應的圖像和文本。

第三方面，本公開實施例提供了一種電子設備，該電子設備包括一個或多個處理器；存儲裝置，其上存儲有一個或多個程序，當一個或多個程序被該一個或多個處理器執行，使得一個或多個處理器實現如第一方面的任一實施例的信息生成方法。

第四方面，本公開實施例提供了一種計算機可讀介質，其上存儲有計算機程序，該程序被處理器執行時實現如第一方面的任一實施例的信息生成方法。

第五方面，本公開實施例提供了一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現如第一方面的任一實施例的信息生成方法。

本公開實現了圖像和描述文本的同時生成。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其他特征將通過以下的說明書而變得容易理解。

附圖說明

圖1是本公開可以應用于其中的示例性系統架構圖；

圖2是根據本公開的信息生成方法的一個實施例的流程圖；

圖3是根據本公開的信息生成方法的一個應用場景的示意圖；