[發明專利]一種基于句法依存關系的命名實體識別方法

在審

• 申請號: 202010556881.0
• 申請日: 2020-06-16
• 公開（公告）號: CN111783461A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 李建強;劉雅琦;白駿
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于句法依存關系的命名實體識別方法，其特征在于，包括如下步驟：

步驟S1，在模型訓練階段，首先用預訓練過的Word2vec把one-hot單詞向量映射到定義好的低維空間，得到每個單詞的詞向量；

步驟S2，使用雙向長短期記憶網絡對句子中每個時間步的詞向量分別進行前向和后向的編碼，并拼接得到擁有上下文信息的全局特征；

步驟S3，用句法分析技術得到每個句子的句法依存樹，計算樹上兩兩單詞之間的最短依賴路徑；

步驟S4，根據最短依賴路徑得到每個單詞的自頂向下以及自底向上的特征序列并輸入LSTM網絡，計算得到單詞局部特征；

步驟S5，通過局部特征點積來計算兩兩單詞之間的關系權重并進行歸一化；

步驟S6，使用自注意力機制以歸一化的關系權重將單詞之間的局部關系特征融入全局特征中，得到融合特征；

步驟S7，根據融合特征初步預測序列標簽，使用CRF對預測序列進行精修，得到最終標簽序列；

步驟S8，在模型測試階段，使用上述步驟訓練好的網絡來進行命名實體識別。

2.根據權利要求1所述的基于句法依存關系的命名實體識別方法，其特征在于，

所述步驟S1中在模型訓練階段，首先用預訓練過的Word2vec把one-hot單詞向量映射到定義好的低維空間，得到每個單詞的詞向量包括：

記詞典大小為V，采用預訓練過的Word2vec把維度為V的one-hot單詞向量映射到定義好的低維空間，輸出的詞向量維度記為d；具體的，對于長度為T的輸入樣本序列{w₁，...，w_t，...w_T}，其中w_t∈R^1×V，嵌入層的輸出記為{x₁，...，x_t，...x_T}，其中x_t∈R^1×d。

3.根據權利要求1所述的基于句法依存關系的命名實體識別方法，其特征在于，

所述步驟S2中使用雙向長短期記憶網絡(Bi-LSTM)對句子中每個時間步的詞向量分別進行前向和后向的編碼，并拼接得到擁有上下文信息的全局特征包括：

使用隱藏單元的個數為h₁的雙向長短期記憶網絡(Bi-LSTM₁)對給定時間步t的輸入x_t進行前向和后向的編碼，并將該時間步正向隱藏狀態記為反向隱藏狀態記為然后，連結兩個方向的隱藏狀態和來得到隱藏狀態便是擁有給定時間步t上下文信息的全局特征，對于輸入序列{x₁，x₂，...x_T}，記Bi-LSTM₁的輸出特征為

4.根據權利要求3所述的基于句法依存關系的命名實體識別方法，其特征在于，

所述步驟S3中用句法分析技術得到每個句子的句法依存樹，計算樹上兩兩單詞之間的最短依賴路徑包括：

對于輸入樣本序列{w₁，w₂，...w_T}，使用依存語法分析技術對其進行句法分析，得到樣本序列的依存句法樹；對于輸入序列中任意兩個單詞a與b，他們之間的最短依存路徑(SDP)為{a，a₁，...，a_m，c，b_n，...，b₁，b}，其中c表示它們在依存句法樹中的最低共同祖先，a₁，...，a_m表示SDP上a和c之間的單詞，b₁，...，b_n表示b和c之間的單詞；若a與b表示同一個單詞，則SDP記為{a，b}。