[發明專利]基于多粒度生成圖像增強表示的隱式篇章關系識別方法

有效

• 申請號: 202010188895.1
• 申請日: 2020-03-17
• 公開（公告）號: CN111488739B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 賀瑞芳;王建;賀迎春;郭鳳羽;朱永凱
• 申請（專利權）人: 天津大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

1.基于多粒度生成圖像增強表示的隱式篇章關系識別方法，其特征在于，包括以下步驟：

(101)構建融合層：融合層內包括詞嵌入模塊、圖像生成模塊和文本-圖像融合模塊：1)詞嵌入模塊通過在嵌入空間中將篇章論元Arg1,Arg2的詞向量序列表示逐一映射成兩個篇章論元的向量表示，以捕捉篇章論元的上下文；2)圖像生成模塊通過文本到圖像的生成神經網絡生成篇章論元對應的圖像，包括句子級別的論元圖像生成和短語級別的論元圖像生成，然后通過卷積神經網絡CNN提取圖像的特征，即圖像的向量表示；3)文本-圖像融合模塊將篇章論元的向量表示和篇章論元對應的短語、句子圖像的向量表示依次拼接后得到融合圖文信息的篇章論元表示；

具體包括：1)詞嵌入模塊，給定論元對其中l₁,l₂分別是論元Arg1和Arg2的單詞個數，分別是Arg1，Arg2中第i個和第j單詞；將每個單詞在預先訓練的單詞嵌入上進行查表操作獲取對應的低維分布式向量表示后分別組成詞向量序列表示即可獲得篇章論元Arg1和Arg2的論元向量序列表示：Textrep₁,Textrep₂；2)圖像生成模塊，選擇具有注意力生成對抗網絡的細粒度文本到圖像生成模型AttnGAN實現文本到圖像的生成；AttnGAN的輸入是論元的向量序列表示，輸出的結果經過卷積神經網絡CNN得到圖像向量表示；具體來說，將兩個論元和它們的短語分別輸入AttnGAN，然后獲得由卷積神經網絡CNN產生的句子和短語圖像向量表示：和其中分別表示Arg1中第k個短語的圖像向量表示和Arg2中第l個短語的圖像向量表示，p_n,p_m分別表示Arg1和Arg2中短語的個數，分別表示Arg1和Arg2的句子級圖像向量表示；3)文本-圖像融合模塊，在獲得論元向量表示Textrep₁,Textrep₂以及論元，論元短語的圖像向量表示和后，根據圖像向量表示生成的時間順序依次與論元向量表示進行拼接得到融合圖文信息的篇章論元表示：

(102)構建注意力控制層：通過雙向長短期記憶神經網絡BiLSTM學習包含圖文信息的篇章論元的語義信息，并利用注意力機制捕獲篇章論元中重要的詞匯信息，將捕獲到的重要詞匯信息融入篇章論元的表示學習中，以加深對篇章論元的語義理解，從而獲取融合重要圖文信息的篇章論元表示；

(103)構建基于自注意力機制的圖文交互層：在不同論元中的單詞對判斷兩個論元間的篇章關系都有不同的重要信息，不同論元生成的圖像信息也有著不同的交互信息；因此將兩個來自步驟(102)的融合重要圖文信息的篇章論元表示拼接成一個整體后輸入到基于自注意力機制Self-attention?mechanism的圖文交互層能夠捕獲融合文本、圖像的交互信息，從而捕獲每個單詞、圖像內在的語義信息，以生成語義豐富的用于識別篇章關系的特征向量表示；

(104)構建篇章關系識別層：利用步驟(103)生成的用于識別篇章關系的特征向量表示對隱式篇章關系進行識別。