[發明專利]一種遠程監督的Dual-Attention關系分類方法及系統

有效

• 申請號: 201810432079.3
• 申請日: 2018-05-08
• 公開（公告）號: CN108829722B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 賀敏;毛乾任;王麗宏;李晨
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/295
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 陳英

1.一種遠程監督的Dual-Attention關系分類方法，其特征在于，包括：

通過遠程監督將知識庫中的實體對對齊到新聞語料，構建實體對句子集合；

基于詞級別注意力機制的Bi-LSTM模型將所述句子進行詞級別的向量編碼，得到所述句子的語義特征編碼向量；

基于句子級別注意力機制的Bi-LSTM模型將所述句子的語義特征進行編碼與去噪，得到句子集特征編碼向量；

將所述句子集特征編碼向量與實體對翻譯向量進行打包，對得到的包特征進行實體對的關系分類；

其中，基于詞級別注意力機制的Bi-LSTM模型將所述句子進行詞級別的向量編碼，得到所述句子的語義特征編碼向量，包括：

對所述句子采用文本深度表示模型進行處理，得到句子中每個詞的詞向量；

將所述詞向量輸入到Bi-LSTM模型中，得到所述詞向量的編碼向量；

將詞級別注意力機制加入到所述詞向量的編碼向量中，得到每個句子的語義特征編碼向量。

2.根據權利要求1所述的一種遠程監督的Dual-Attention關系分類方法，其特征在于，將所述詞向量輸入到Bi-LSTM模型中，得到所述詞向量的編碼向量，包括：

將所述詞向量輸入到Bi-LSTM模型中；

所述模型的正向LSTM獲取所述詞向量的上文特征信息，所述模型的反向LSTM獲取所述詞向量的下文特征信息；

最后得到所述詞向量的上下文編碼向量。

3.根據權利要求1所述的一種遠程監督的Dual-Attention關系分類方法，其特征在于，將詞級別注意力機制加入到所述詞向量的編碼向量中，得到每個句子的語義特征編碼向量，包括：

所述將詞級別注意力機制加入到所述編碼向量中；

通過計算注意力概率分布，將LSTM中的每個時間節點通過權重向量聯結起來；

得到每個句子的語義特征編碼向量。

4.根據權利要求1所述的一種遠程監督的Dual-Attention關系分類方法，其特征在于，基于句子級別注意力機制的Bi-LSTM模型將所述句子的語義特征進行編碼與去噪，得到句子集特征編碼向量，包括：

將所述句子的語義特征編碼向量輸入到Bi-LSTM模型中，得到句子集的特征編碼向量；

將句子級別注意力機制加入到所述句子集的特征編碼向量中，得到降噪后的句子集特征編碼向量。

5.根據權利要求4所述的一種遠程監督的Dual-Attention關系分類方法，其特征在于，將句子級別注意力機制加入到所述句子集的特征編碼向量中，得到降噪后的句子集特征編碼向量，包括：

將句子級別注意力機制權重加入到每個句子，使得有效句子的權重大，噪音句子的權重小；

得到降噪后的句子集特征編碼向量。

6.根據權利要求1所述的一種遠程監督的Dual-Attention關系分類方法，其特征在于，將所述句子集特征編碼向量與實體對翻譯向量進行打包，對得到的包特征進行實體對的關系分類，包括：

引入實體對翻譯模型的翻譯向量，對不同置信度的句子賦予不同的權重，降低句子集的噪聲；

把實體對向量的差值作為相似度衡量句子的又一特征引入句子集中，得到包特征；

使用多示例學習法對所述包特征進行關系分類。

7.根據權利要求6所述的一種遠程監督的Dual-Attention關系分類方法，其特征在于，使用多示例學習法對所述包特征進行關系分類，包括：

如果一個包里面存在至少一個句子被分類器判定標簽為正的示例，則該包中的句子為正例數據；如果一個包里面所有的句子都被分類器判定標簽為負，則該包中的句子為負例數據；

把帶標簽的句子進行多示例學習得到包含多種特征關系信息的特征表示；

通過Softmax關系分類方法預測實體對是給定多種特征關系的哪一種關系，得到每一種關系的概率排序。

8.一種遠程監督的Dual-Attention關系分類系統，其特征在于，包括：

構建模塊，用于通過遠程監督將知識庫中的實體對對齊到新聞語料，構建實體對句子集合；

第一向量模塊，用于基于詞級別注意力機制的Bi-LSTM模型將所述句子進行詞級別的向量編碼，得到所述句子的語義特征編碼向量；

第二向量模塊，用于基于句子級別注意力機制的Bi-LSTM模型將所述句子的語義特征進行編碼與去噪，得到句子集特征編碼向量；

關系分類模塊，用于將所述句子集特征編碼向量與實體對翻譯向量進行打包，對得到的包特征進行實體對的關系分類；

其中，第一向量模塊具體用于：

對所述句子采用文本深度表示模型進行處理，得到句子中每個詞的詞向量；

將所述詞向量輸入到Bi-LSTM模型中，得到所述詞向量的編碼向量；

將詞級別注意力機制加入到所述詞向量的編碼向量中，得到每個句子的語義特征編碼向量。