[發明專利]信息處理方法和基于文本生成圖像的裝置

有效

• 申請號: 201710379515.0
• 申請日: 2017-05-25
• 公開（公告）號: CN108959322B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 侯翠琴;夏迎炬;楊銘;張姝;孫俊
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06N3/08;G06F40/284
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 韓雪梅;康建峰

1.一種信息處理方法，包括：

從樣本文本中提取表征樣本文本中的詞之間的關聯性的文本特征；

以尺寸變化的窗口來選擇性地截取所述文本特征的各個局部，以得到各個局部文本特征；和

訓練圖像生成模型，其包括：

利用編碼器模塊來迭代地壓縮樣本圖像，并且在各次迭代中從所述編碼器模塊輸出特征量的第一分布，所述特征量表征所述樣本圖像和所述樣本文本的關鍵信息，

利用解碼器模塊基于所述樣本文本的各個局部文本特征和各個第一分布來迭代地生成輸出圖像，并且利用所述解碼器模塊來構建各次迭代中的所述特征量的第二分布，以及

基于所述樣本圖像、所述輸出圖像、所述第一分布和所述第二分布來計算所述圖像生成模型的損失函數以優化所述圖像生成模型，

其中，所述圖像生成模型包括編碼器模塊和解碼器模塊，訓練后的圖像生成模型中的解碼器模塊根據所輸入的文本的各個局部文本特征來迭代地生成與所輸入的文本對應的圖像，并且各個局部文本特征分別在各次迭代中截取。

2.根據權利要求1所述的信息處理方法，其中，從樣本文本中提取所述文本特征包括：

對所述樣本文本進行向量化，以得到低維度的多個詞向量；以及

基于所述詞向量來提取表征所述樣本文本中的詞之間的關聯性的文本特征。

3.根據權利要求1所述的信息處理方法，其中，在每次迭代中，基于前次迭代中的解碼器模塊中的解碼器的輸出來截取所述局部文本特征。

4.根據權利要求3所述的信息處理方法，其中，在每次迭代中，利用編碼器模塊來迭代地壓縮所述樣本圖像包括：

基于在前次迭代中所述解碼器模塊的輸出和所述解碼器的輸出來讀取所述樣本圖像的局部，以得到局部樣本圖像；以及

基于所述編碼器模塊中的編碼器和所述解碼器在前次迭代中的輸出，所述編碼器壓縮所述局部樣本圖像。

5.根據權利要求4所述的信息處理方法，其中，每次迭代中的第一分布基于所述編碼器的輸出來構建。

6.根據權利要求5所述的信息處理方法，其中，利用所述解碼器模塊來迭代地生成圖像包括：

在每次迭代中從所述第一分布中采集所述特征量；

基于局部文本特征和前次迭代中解碼器的輸出，利用所述解碼器對所采集的特征量進行解碼；

基于前次迭代中解碼器的輸出來構建所述第二分布；

在每次迭代中將解碼器的輸出寫出到同一矩陣，作為所述解碼器模塊的輸出；以及

基于最終得到的矩陣來生成所述輸出圖像。

7.根據權利要求6所述的信息處理方法，其中，計算所述圖像生成模型的損失函數包括：

計算關于所述樣本圖像和所述輸出圖像的第一損失函數；

計算關于所述第一分布和所述第二分布的第二損失函數；以及

基于所述第一損失函數和所述第二損失函數來確定所述損失函數。

8.根據權利要求4至7中任一項所述的信息處理方法，其中，所述編碼器和所述解碼器利用循環神經網絡來實現。

9.一種基于文本生成圖像的裝置，包括：

文本特征提取部，提取表征文本中的詞之間的關聯性的文本特征；

局部文本特征截取部，以尺寸變化的窗口來選擇性地截取所述文本特征的各個局部，以得到局部文本特征；以及

圖像生成模型，所述圖像生成模型中的解碼器模塊根據輸入文本的各個局部文本特征來迭代地生成與所述輸入文本對應的圖像，各個局部文本特征分別在各次迭代中來截取。