[發明專利]基于句法注意力神經網絡的知識圖譜關系數據分類方法

有效

• 申請號: 202010006790.X
• 申請日: 2020-01-03
• 公開（公告）號: CN111177394B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 劉振宇;張棟豪;郟維強;譚建榮
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/211;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于句法注意力神經網絡的知識圖譜關系數據分類方法，其特征在于：包括以下步驟：

S1.收集復雜裝備設計過程的設計文檔，由設計文檔的文本數據組建設計文檔語料庫；

S2.針對收集到的設計文檔的文本數據進行文本預處理；

S3.建立基于句法注意力深度神經網絡的實體關系分類模型；

S4.針對復雜裝備設計過程的設計文檔的文本數據進行步驟S2預處理后的結果與文本數據已知的實體關系類別標簽輸入到基于句法注意力深度神經網絡的實體關系分類模型中，離線訓練該實體關系分類模型；

S5.針對包含兩個實體且存在待預測實體關系類別的文本，進行步驟S2預處理后，輸入至訓練好的基于句法注意力深度神經網絡中，在線預測獲得文本數據中關鍵詞文本對應的實體關系類別結果；

所述步驟S3中，基于句法注意力深度神經網絡模型構建步驟為：

S31.構造嵌入層，包含了詞意嵌入層、詞性嵌入層、命名實體類別嵌入層和句法關系嵌入層，將文本數據進行分詞、命名實體識別、詞性標注后的結果和依存句法分析后獲得的句法關系，作為輸入并分別輸入到詞意嵌入層、詞性嵌入層、命名實體類別嵌入層和句法關系嵌入層中，將以上嵌入層的輸出向量相連，組成詞嵌入向量與句法關系嵌入向量；

S32.構造兩層雙向長短期記憶網絡，以詞嵌入向量作為輸入，輸出融合有上下文信息的上下文嵌入向量；

S33.針對上下文嵌入向量，使用最大池化進行處理，獲取包含有語句語義信息的語句嵌入向量；

S34.根據依存句法樹構造一層單向樹結構長短期記憶網絡，以詞嵌入向量與句法關系嵌入向量作為輸入，輸出包含有文本數據句法信息的依存樹隱藏向量；

S35.根據單向樹結構長短期記憶網絡中每個輸出的依存樹隱藏向量作為節點，使用依存樹信息組合的方法，獲取包含有依存句法樹中兩個節點之間攜帶信息的相對句法嵌入矩陣；

S36.采用多頭注意力機制方法，獲取語句嵌入向量與相對句法嵌入矩陣中每個元素之間的句法權重向量；

S37.同時依據句法權重向量與相對句法嵌入矩陣，使用權重加和的方式，獲取句法嵌入向量；

S38.將語句嵌入向量和句法嵌入向量相連接，輸入至前饋神經網絡，輸出文本數據中關鍵詞文本對應的實體關系類別。

2.根據權利要求1所述的一種基于句法注意力神經網絡的知識圖譜關系數據分類方法，其特征在于：所述步驟S1中，收集復雜裝備設計過程的需求分析文檔、設計說明書、設計手冊、性能分析文檔、設計百科。

3.根據權利要求1所述的一種基于句法注意力神經網絡的知識圖譜關系數據分類方法，其特征在于：所述步驟S2如下：

S21.通過自然語言預處理工具對設計文檔語料庫中的文本數據進行分詞、命名實體識別、詞性標注、依存句法分析，依存句法分析得到依存句法樹和句法關系；

S22.根據文本數據分詞后的結果、命名實體識別后的結果、詞性標注后的結果、依存句法分析得到的句法關系結果以及實體之間標注的關系，生成文本數據對應的語料庫詞典、詞性詞典、命名實體類別詞典、句法關系詞典和實體關系類別詞典；

S23.使用詞向量計算工具獲得分詞后的文本數據對應的詞意嵌入矩陣。

4.根據權利要求1所述的一種基于句法注意力神經網絡的知識圖譜關系數據分類方法，其特征在于：所述步驟S35中的依存樹信息組合方法針對待求兩節點進行處理，分為如下兩種情況：

1)當在依存句法樹上待求兩節點之間的最短路徑形成樹結構時，使用樹結構上的根節點的依存樹隱藏向量，減去該根節點下其他子節點的依存樹隱藏向量，其他子節點的依存樹隱藏向量為與除待求兩節點外的最短路徑上的節點直接相連的子節點的依存樹隱藏向量，再減去待求兩節點的依存樹隱藏向量，作為兩節點之間的信息；由每兩個節點之間的信息作為矩陣的元素構成形成相對句法嵌入矩陣；

2)當在依存句法樹上兩個依存樹隱藏向量之間的最短路徑形成鏈結構時，使用鏈結構上的頂部節點的依存樹隱藏向量，減去該頂部節點下其他子節點的依存樹隱藏向量，其他子節點的依存樹隱藏向量為與除底部節點外的最短路徑上的節點直接相連的子節點的依存樹隱藏向量，再減去底部節點的依存樹隱藏向量；由每兩個兩節點之間的信息作為矩陣的元素構成形成相對句法嵌入矩陣。