[發(fā)明專利]基于對抗學習和分層神經(jīng)網(wǎng)絡的文本摘要生成系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 202011351699.8
• 申請日: 2020-11-26
• 公開（公告）號: CN112463956B
• 公開（公告）日: 2022-08-23
• 發(fā)明（設計）人: 黃海輝;查茂鴻;常光輝;胡詩洋
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F40/126;G06F40/211;G06F40/284;G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產(chǎn)權代理有限公司 50102
• 代理人: 陳棟梁

1.一種基于對抗學習和分層神經(jīng)網(wǎng)絡的文本摘要生成系統(tǒng)，其特征在于，包括：判別器模塊、預處理模塊、詞嵌入模塊、句嵌入模塊、生成模塊和對抗學習模塊，其中判別器模塊用于對文本有效性進行判別，預處理模塊用于將文本分詞化并轉(zhuǎn)化為獨熱編碼one-hot向量，同時做分塊處理；詞嵌入模塊用于利用雙向長短記憶型神經(jīng)網(wǎng)絡對one-hot向量進行詞編碼處理，得到具有高表征的詞編碼并加入增強記憶矩陣與詞編碼做點積得到句向量；句嵌入模塊利用雙向長短記憶型神經(jīng)網(wǎng)絡對所得句向量進行句編碼處理，得到具有高表征的句編碼并加入增強記憶矩陣與句編碼做點積得到文本向量；生成模塊對所得文本向量進行解碼操作并生成完整的文章摘要記為標準摘要；對抗學習模塊對文本重新訓練，使用傳統(tǒng)的Seq2Seq模型，得到一個模糊表示；接著引入對抗學習，設置一個識別器將標準表示與模糊表示進行識別，調(diào)節(jié)參數(shù)λ縮小兩者的距離，同時監(jiān)督學習阻止他們接近，形成對抗，找到對抗平衡的λ時訓練的文本摘要為最優(yōu)結(jié)果。

2.根據(jù)權利要求1所述的一種基于對抗學習和分層神經(jīng)網(wǎng)絡的文本摘要生成系統(tǒng)，其特征在于，所述判別器模塊對文本有效性進行判別具體包括：掃描文本，識別出時間，地點，事件的命名實體三元組，若三元組中任一元素為空，則判定為文本不完整，視為無效文本丟棄；否則將無效文本輸入到所述詞嵌入模塊進行進一步處理。

3.根據(jù)權利要求1所述的一種基于對抗學習和分層神經(jīng)網(wǎng)絡的文本摘要生成系統(tǒng)，其特征在于，所述預處理模塊將文本按句劃分成n個數(shù)據(jù)塊，對每個數(shù)據(jù)塊做分詞操作，并將每個詞語初始化成獨熱編碼的嵌入表示，記為w_ij，輸入到詞嵌入層，其中i表示第i句，j表示第i句中的第j個詞。

4.一種基于權利要求1-3之一所述系統(tǒng)的文本摘要生成方法，其特征在于，包括以下步驟：

S1：掃描文本，通過NER命名實體識別技術識別文本的時間，地點，事件三元組，若三元組中任一元素為空，則認為該文本內(nèi)容殘缺，判定為無效文本并丟棄；

S2:將文本按句劃分成n個數(shù)據(jù)塊，對每個數(shù)據(jù)塊做分詞操作，并將每個詞語初始化成one-hot編碼的嵌入表示，記為w_ij，輸入到詞嵌入層，其中i表示第i句，j表示第i句中的第j個詞；

S3：將每個數(shù)據(jù)塊的句子進行詞編碼操作，使用雙向長短記憶型神經(jīng)網(wǎng)絡對one-hot向量進行詞編碼處理，得到具有高表征的詞編碼；

S4：引入隨機初始化的t個上下文矩陣u_wt，將其與S2所得的詞編碼做softmax操作，根據(jù)公式求出第t個詞記憶矩陣，得到詞記憶矩陣，其中L表示第L個分區(qū)，u_ij表示每個單詞的新的詞向量，對其所有的注意力矩陣做加權得到增強詞記憶矩陣再將α和隱藏層的結(jié)果做點積并加權，生成具有高表征特性的句向量S_l，l表示第l個句向量；

S5：同理對上述所得句向量做句編碼處理得到具有高表征的句編碼并引入隨機的句增強記憶矩陣，將其與上述所得到的句編碼做softmax操作，生成具有高表征特性的文本向量T；

S6：將上述編碼過程的最后一個狀態(tài)即最后生成的文本向量T輸入生成模塊進行解碼操作，生成文本摘要，記為標準表示；

S7：對文本重新訓練，使用傳統(tǒng)的Seq2Seq模型，得到一個模糊表示；

S8：引入對抗學習機制，引入可調(diào)節(jié)的權重參數(shù)λ，衡量解碼器的監(jiān)督強度，原文和摘要越相關，監(jiān)督學習的強度越強，λ越大，訓練識別器，將上述得到的模糊表示和標準表示進行判別，與此同時，監(jiān)督學習一邊縮小這兩個表示的距離，使它們越來越相近，阻止識別器區(qū)分它們，所以當識別器可以區(qū)分兩者時，降低λ，反之增加λ，最終得到合適的λ值，此時訓練出的文本摘要為最優(yōu)解。

5.根據(jù)權利要求4所述的文本摘要生成方法，其特征在于，分層神經(jīng)網(wǎng)絡具有以下特性：句子由單詞組成，文本由句子組成，據(jù)此構(gòu)建自下而上的分層結(jié)構(gòu)，將傳統(tǒng)的seq2seq模型的編碼器層分解為詞嵌入層和句嵌入層，并引入增強記憶機制，首先判斷其是否是有效文本，若是有效文本，將文本輸入序列分成若干個數(shù)據(jù)塊分別處理，同時在解碼過程中引入對抗學習。