[發明專利]一種基于語義與句法依存信息的命名體識別方法

在審

• 申請號: 202210645695.3
• 申請日: 2022-06-08
• 公開（公告）號: CN114997170A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 周仁杰;謝忠毅;馬浩男;萬健;張紀林;殷昱煜;蔣從鋒
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/30;G06F40/211;G06F40/216;G06F40/268;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.一種基于語義與句法依存信息的命名體識別方法，其特征在于包括以下步驟：

步驟(1)：對待識別實體的文本數據進行文本分析，獲得詞性信息和句法依存信息；所述文本分析包括詞性分析與句法依存分析；其中所述句法依存信息包括句法依存關系類型、不同詞之間的依存關系方向；

步驟(2)：對詞性信息和句法依存信息進行預處理，將所有詞性信息和句法依存關系類型轉化成one-hot向量，并根據不同單詞之間的依存關系方向構建鄰接矩陣；

步驟(3)：構造命名體識別模型BiLSTM-AELGCN-CRF，并進行訓練；

所述命名體識別模型BiLSTM-AELGCN-CRF包括輸入表示層、語義提取層、句法依存提取層以及輸出層；

(1)輸入表示層：

將待識別實體的文本數據采用one-hot編碼轉化為文本數據one-hot向量，然后進行詞嵌入處理，得到每個單詞的詞向量；同時對當前待識別實體的文本數據的詞性信息以及句法依存關系類型的one-hot向量進行詞嵌入處理，得到詞性信息嵌入向量和句法依存關系類型嵌入向量；

(2)語義提取層，通過BiLSTM進行語義信息的提取，所述BiLSTM對每個時間步的詞向量分別進行向前和后向的編碼，并拼接得到上下文信息的全局特征；

(3)句法依存提取層，利用圖卷積網絡GCN根據兩個存在句法依存關系的單詞間的句法信息和語義信息進行加權聚合，獲得具有句法與語義信息的單詞嵌入向量；所述句法依存提取層包括N層串聯的AELGCN，其中AELGCN包括節點聯合更新模塊、邊更新模塊，以及M層串聯的Attention Guided GCN，具體如下：

節點聯合更新模塊，用于根據BiLSTM輸出的上下文信息的全局特征、步驟(2)中的鄰接矩陣信息，對鄰居節點信息進行加權聚合；

邊更新模塊，用于將節點聯合更新模塊的輸出H^l更新第i個單詞到第j個單詞的句法依存關系類型嵌入向量；

Attention Guided GCN包括注意力引導層、密集連接層、線性組合層：

所述注意力引導層用于將鄰接矩陣轉換為注意力導向的鄰接矩陣；

所述密集連接層包含多個子層，該子層的數量等于注意力導向的鄰接矩陣的數量；根據所述注意力引導層輸出的注意力導向的鄰接矩陣，計算出不同特征空間下的節點向量；

所述線性組合層采用線性層的方式合并密集連接層的最終輸出；

最后經過重復的N層的AELGCN，得到句法依存提取層的最終輸出；

(4)輸出層：利用條件隨機場進行預測，得到最終標簽序列；

步驟4：利用訓練好的命名體識別模型BiLSTM-AELGCN-CRF實現實體預測。

2.根據權利要求1所述方法，其特征在于步驟(3)所述命名體識別模型BiLSTM-AELGCN-CRF中語義提取層具體如下：

使用隱藏單元個數為m的BiLSTM對給定時間步t的詞向量x_t進行前向和后向的編碼，并將該時間步正向的隱藏狀態記作h_lt∈R^1×m，反向隱藏狀態記作h_rt∈R^1×m，然后拼接正反向的隱藏狀態得到擁有給定時間步t上下文信息的全局特征h_t＝[h_lt，h_rt]∈R^2×m。