[發明專利]在保留語義的同時對稀疏標注的文本文檔的分類

在審

• 申請號: 202010533649.5
• 申請日: 2020-06-12
• 公開（公告）號: CN112084327A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: J.J.托馬斯;A.E.佩特羅夫;王婉婷;M.阿拉德
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邸萬奎

1.一種訓練神經網絡以在保持語義的同時對稀疏標注的文本文檔分類的方法，包括：

接收文本語料庫，文本語料庫包含標注的部分和超出標注的部分的未標注的部分；

從文本語料庫中提取多個局部n元語法特征以及局部n元語法特征的序列；

使用多個卷積層根據局部n元語法特征處理文本語料庫，以確定被配置以保留局部n元語法特征的序列的多個膠囊的膠囊參數；

使用膠囊參數執行多個膠囊之間的前向動態路由，以提取文本語料庫的多個全局特征；以及

使用長短期存儲器層根據全局特征處理文本語料庫，以從文本語料庫提取多個全局順序文本依賴關系，

其中，根據局部n元語法特征、膠囊參數、全局特征和全局順序文本依賴關系更新神經網絡的多個參數。

2.根據權利要求1所述的方法，進一步包括：

凍結神經網絡的參數；以及

將神經網絡應用于新輸入的文本，以根據神經網絡的參數來確定標簽。

3.根據權利要求1所述的方法，其中，前向動態路由具有第一膠囊層和第二膠囊層，第二膠囊層中的每個第n個膠囊的輸入是從第一膠囊層中的第1個到第n個膠囊的輸出接收的。

4.根據權利要求1所述的方法，其中，進一步包含對神經網絡應用虛擬對抗訓練以通用化所述膠囊。

5.根據權利要求4所述的方法，其中，虛擬對抗訓練將多個被擾動的文本數據輸入到神經網絡中，其中，神經網絡使膠囊適應被擾動的文本數據。

6.根據權利要求1所述的方法，其中，神經網絡包括由卷積濾波器組、卷積濾波器內的一組膠囊以及長短期存儲器層組成的多個層。

7.一種在計算機系統上執行的神經網絡系統，包括：

第一多個處理元件，被配置為從文本語料庫提取多個局部特征和局部特征的序列，其中，文本語料庫是稀疏標注的；

第二多個處理元件，被配置為提取文本語料庫的多個全局特征，其中，第二多個處理元件被構造成膠囊，該膠囊被配置為保留局部特征的序列；以及

第三多個處理元件，被配置為在給定第一多個處理元件的輸出的情況下，從文本語料庫中提取多個全局順序文本依賴關系，其中第三多個處理元件被構造為長短期存儲器層，其被配置為輸出由第一多個處理元件和第二多個處理元件生成的所有標簽的概率分布。

8.根據權利要求7所述的神經網絡系統，其中，第一處理元件和第二處理元件是使用一組神經元的相同輸出的不同配置。

9.根據權利要求7所述的神經網絡系統，設置在計算機網絡上以接收輸入數據并輸出標注的數據。

10.一種用于訓練神經網絡以在保持語義的同時對稀疏標注的文本文檔分類的計算機程序產品，包含計算機可讀的存儲介質，所述存儲介質包含計算機程序代碼，所述計算機程序代碼包括計算機可執行指令，所述計算機可執行指令被配置為實現根據權利要求1至6的任何一項所述的方法的步驟。

11.一種系統，包括：

存儲器，存儲有程序代碼；

與存儲器耦合的處理器，被配置為從存儲器讀取程序代碼以執行其中實現根據權利要求1至6的任何一項所述的方法的步驟的計算機可執行指令。

12.一種裝置，包括一個或多個模塊，所述一個或多個模塊被配置用于實現根據權利要求1至6的任何一項所述的方法的所有步驟的功能。