[發明專利]一種基于注意力機制神經網絡與知識圖譜的醫療文本分級方法

有效

• 申請號: 201910246935.0
• 申請日: 2019-03-29
• 公開（公告）號: CN110046252B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 趙亮;李建強;趙青
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06N3/04;G06N3/08;G16H15/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于注意力機制神經網絡與知識圖譜的醫療文本分級方法，包括四個步驟：直接關系抽取步驟(1)、直接關系統一步驟(2)、間接語義關系推理步驟(3)、神經網絡分級步驟(4)；

(1)直接關系抽取步驟

從知識圖譜中得到實體-關系-實體之間的直接關系三元組數據，從文本數據中基于規則得到實 體-關系-實體之間直接關系三元組數據；

(2)直接關系統一步驟：該步驟將得到的所有直接關系三元組數據基于標準化的點互信息將從知識圖譜與文本數據中的實體-關系-實體直接關系三元組統一起來，得到相同的實體與關系節點；

(3)間接語義關系推理步驟(3)是將得到的所有的直接關系三元組通過TransE算法推導，得到兩個實體之間存在間接語義關系，從而得到文本數據中的所有數據；

(4)神經網絡分級步驟(4)應用基于Attention機制的增強型LSTM神經網絡模型得到文本分級結果；通過增強型LSTM模型作為Encoder模型，基于Attention機制計算得到實體-關系-實體三元組對于文本分級的重要程度，并且通過普通的LSTM作為Decoder模型通過softmax變換得到文本分級結果；

其特征在于步驟(4)，具體如下：

在增強型LSTM模型中細胞向量有兩個，分別作為實體細胞向量與關系細胞向量，兩個細胞向量分別計算實體與關系的長短信息并分別保存，在輸出門采用將兩個細胞向量通過一個全連接層得到最后的輸出向量；

在t時刻的增強型LSTM模型的具體公式如下：

在公式(6)中計算為實體遺忘門系數，其中分別為實體1與實體2在該公式中的權重矩陣，為t-1時刻輸出向量在該公式中的權重矩陣，為在該公式中的偏置；

在公式(7)中計算為關系遺忘門系數，其中為關系在該公式中的權重矩陣，為t-1時刻輸出向量在該公式中的權重矩陣，為在該公式中的偏置；

在公式(8)中計算為實體輸入門系數，其中分別為實體1與實體2在該公式中的權重矩陣，為t-1時刻輸出向量在該公式中的權重矩陣，為在該公式中的偏置；

在公式(9)中計算為關系輸入門系數，其中為關系在該公式中的權重矩陣，為t-1時刻輸出向量在該公式中的權重矩陣，為在該公式中的偏置；

在公式(10)中計算為實體輸入門備選狀態，其中分別為實體1與實體2在該公式中的權重矩陣，為t-1時刻輸出向量在該公式中的權重矩陣，為在該公式中的偏置；

在公式(11)中計算為關系輸入門備選狀態，其中為關系在該公式中的權重矩陣，為t-1時刻輸出向量在該公式中的權重矩陣，為在該公式中的偏置；

在公式(12)中計算為實體細胞狀態，為t-1時刻的實體細胞狀態，為遺忘門系數，為輸入門系數，為實體輸入門備選狀態；

在公式(13)中計算為關系細胞狀態，為t-1時刻的關系細胞狀態，為遺忘門系數，為輸入門系數，為關系輸入門備選狀態；

在公式(14)中計算o_t為輸出門系數，分別為實體1、實體2在該公式中的權重矩陣，為關系在該公式中的權重矩陣，U^o為t-1時刻的輸出向量在該公式中的權重矩陣，b^o為該公式中的偏置；

在公式(15)中計算h_t為輸出門結果，o_t為輸出門系數，為實體細胞狀態在該公式中的權重矩陣，為實體細胞狀態，為關系細胞狀態在該公式中的權重矩陣，為關系細胞狀態；

在增強型LSTM模型，實體與關系向量采用word2vec初始化，其向量長度為200；所有的權重矩陣與偏置采用截斷的正態分布做初始化，當參數收斂時或者當達到最大迭代次數10次時訓練結束；模型中的σ為sigmoid函數，tanh為tanh函數；

采用Attention機制得到每個實體-關系-實體三元組對于文本分級的重要程度，在t時刻得到每一個三元組的重要性程度；記decoder模型時刻t的target hidden為h_t，encoder的輸出隱藏向量hidden state為h_s,encoder的全部輸出向量集合為HS，對于其中任意h_t,h_s,其權重a(t)_s的具體公式為：

其中：

為評分函數中的重要性系數，采用截斷的正態分布做初始化；W_α為[h_t,h_s]在該公式中的權重矩陣，當參數收斂時或者當達到最大迭代次數10次時訓練結束；

在Decoder層采用標準LSTM模型，將基于Attention機制之后的中間隱藏向量作為Decoder層的輸入，在LSTM層之后的隱藏向量通過softmax得到最后的文本分級結果。