[發(fā)明專利]聯(lián)合attention機(jī)制與神經(jīng)網(wǎng)絡(luò)的生物醫(yī)學(xué)實(shí)體關(guān)系分類方法

在審

• 申請?zhí)枺?/td>: 201810554915.5
• 申請日: 2018-06-01
• 公開（公告）號: CN108875809A
• 公開（公告）日: 2018-11-23
• 發(fā)明（設(shè)計(jì)）人: 林鴻飛;鄭巍
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 劉斌

1.一種聯(lián)合attention機(jī)制與神經(jīng)網(wǎng)絡(luò)的生物醫(yī)學(xué)實(shí)體關(guān)系分類方法，其特征在于，包括以下步驟：S1、基于指代解析的文本處理；S2、構(gòu)建基于attention機(jī)制的模型輸入向量；S3、構(gòu)建基于雙向LSTM的生物醫(yī)學(xué)實(shí)體關(guān)系分類模型；S4、利用關(guān)系分類模型進(jìn)行生物醫(yī)學(xué)實(shí)體關(guān)系分類。

2.根據(jù)權(quán)利要求1所述的一種聯(lián)合attention機(jī)制與神經(jīng)網(wǎng)絡(luò)的生物醫(yī)學(xué)實(shí)體關(guān)系分類方法，其特征在于，所述的步驟：

S1、基于指代解析的文本處理：采集公開已標(biāo)注的數(shù)據(jù)集，利用文本處理技術(shù)對文本進(jìn)行初始化處理，利用基于following的指代解析處理和剪枝技術(shù)對句子進(jìn)行處理；

S2、構(gòu)建基于attention機(jī)制的模型輸入向量：所述模型輸入向量包括輸入特征向量、輸入attention向量和句子向量，其處理方法如下：

B1、輸入特征向量的構(gòu)建：給定一個剪枝的句子S＝{w₁,w₂,…,w_i,…,w_n}，每個詞w_i被表示成三個特征向量：詞自身word、詞的PoS標(biāo)記和位置，分別表示為以及和

B2、輸入attention向量的構(gòu)建：應(yīng)用attention機(jī)制到B1中的初始word嵌入向量以生成面向候選實(shí)體的word嵌入向量；利用兩個長度等于句子最大長度n的行向量α^j來量化一個句子中每個單詞w_i與第j個候選實(shí)體的相關(guān)程度因子，α^j的定義如下公式所示：

其中，j∈{1,2}，和分別是單詞w_i與第j個候選實(shí)體e_j的詞嵌入向量，score函數(shù)被看作面向候選實(shí)體的函數(shù)，其定義如下：

其中，符號dot表示兩個向量和上的點(diǎn)積操作；m₁是詞嵌入向量的維數(shù)；相關(guān)程度因子和作用在單詞w_i的最初詞嵌入向量上，二者的聯(lián)合作用α_i表示為α_i作用到最初詞嵌入向量上看作是面向候選實(shí)體的詞嵌入向量其定義表示為其中符號*表示按位計(jì)算的乘法；

B3、句子向量的構(gòu)建：

構(gòu)建向量用以表示單詞w_i的語義，其中x_i∈R^m，m＝m₁+m₂+2m₃，m₂和m₃分別是PoS和位置嵌入向量的維數(shù)；“||”表示連接操作；句子S表示成一個實(shí)值向量數(shù)組S_emb＝[x₁,x₂,…,x_i,...,x_n]；

S3、構(gòu)建基于雙向LSTM的生物醫(yī)學(xué)實(shí)體關(guān)系分類模型：利用雙向帶有長短術(shù)語存儲單元的循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督學(xué)習(xí)建模；包括：嵌入層，輸入attention層，合并層，雙向LSTM層；利用帶有softmax函數(shù)的邏輯斯諦回歸分類器作為候選實(shí)例的分類器；softmax函數(shù)以雙向LSTM層的輸出h_n作為輸入，其輸出y表示候選實(shí)例在每個不同的關(guān)系類別標(biāo)簽上的概率分布；第j類標(biāo)簽的概率分布表示為p(y＝j(luò)|S)＝softmax(h_nW_s+b_s)，S表示句子，W_s是需要學(xué)習(xí)的權(quán)重矩陣，b_s是需要學(xué)習(xí)的偏置向量；概率最大的類別對應(yīng)的標(biāo)簽為候選實(shí)例的關(guān)系類型，表示為其中C是生物語料中分類可能有的標(biāo)簽的集合；設(shè)定用于預(yù)測誤差的損失函數(shù)為交叉熵?fù)p失函數(shù)l是訓(xùn)練集中標(biāo)注的樣本數(shù)，上標(biāo)k表示第k個被分類的句子，θ為模型中的所有參數(shù)；

S4、預(yù)測生物醫(yī)學(xué)實(shí)體關(guān)系：利用步驟S1中的方法對文本進(jìn)行初始處理、指代解析和剪枝；然后利用步驟S2中B1的方法，分別獲取句子中的單詞、每個單詞的PoS標(biāo)簽以及當(dāng)前單詞與兩個實(shí)體的相對距離，查相應(yīng)向量字典得到這些特征的索引符號；基于輸入，模型會輸出每對關(guān)系實(shí)例在各個類別上的概率值，其中概率值最大的那一類即為候選實(shí)例對應(yīng)的類別標(biāo)簽，從而得到實(shí)體間的關(guān)系類型。