[發明專利]引入注意力的多尺度CNN-BiLSTM非編碼RNA互作關系預測方法

有效

• 申請號: 202010097498.3
• 申請日: 2020-02-17
• 公開（公告）號: CN111341386B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 孟軍;石文浩
• 申請（專利權）人: 大連理工大學
• 主分類號: G16B40/20
• 分類號: G16B40/20;G06N3/04;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;隋秀文

1.一種引入注意力的多尺度CNN-BiLSTM非編碼RNA互作關系預測方法，其特征在于，步驟如下：

(1)對互作對數據進行分詞處理，再進行k-mers編碼

將每條序列分割為多個子序列，子序列即生物單詞，即每k個連續的核苷酸看作一個單詞，單詞間不重疊；對所有樣本數據經分詞處理后，統計得出一個大小為4^k的單詞表，根據單詞出現頻率，從大到小對每個單詞進行編碼，則將每條序列嵌入到一個n維向量中；

(2)使用嵌入層將編碼序列映射成卷積操作易處理的形式

將編碼序列中每一個數字映射成一個m×1維的向量M，則輸入序列即被映射成m×l的矩陣形式，其中m為嵌入向量維度，l為序列長度；對于一個編碼序列SC＝[w₁,w₂,…,w_i-1,w_i]，其中，w_i∈[1,m],i∈[1,l]，則SC經嵌入層作用后輸出矩陣X表示為：

其中，表示m×l矩陣形式的向量；

(3)使用多尺度卷積池化層提取嵌入層輸出的向量

使用三個并聯的不同尺度的卷積層對嵌入層的輸出X分別進行卷積多池化操作：每一尺度的卷積層操作捕捉序列不同位置的局部特征feature map，然后再使用三個不同尺度的并聯池化對feature map進行最大池化采樣，接著將三個池化采樣結果進行串聯作為該層的輸出，最后將三個并聯卷積層的結果再進行串聯作為多卷積池化層的最終輸出結果；具體步驟為：

1)對嵌入層的輸出矩陣X進行卷積操作

每種尺度的卷積層均選用卷積核大小為進行卷積操作，其中m代表卷積核寬度，大小等于嵌入維度，f為卷積核尺度；則卷積操作表示為：

c_i＝T([x_i:x_i+f-1]*K_i+b_i) (3)

C＝[c₁,c₂,...,c_l-f+1] (4)

其中，c_i為第i個經卷積后的特征映射，C為卷積后特征映射矩陣；[x_i:x_i+f-1]為句子中第i個i+f-1個詞組成的矩陣向量；K_i表示第i個卷積核；b_i表示第i個特征映射的偏置向量；*表示卷積操作；T為非線性函數Tanh或修正流線型函數ReLU，用于解決梯度消失；

2)對卷積后特征映射矩陣C進行多池化操作

選用三個不同大小的池化窗口對特征映射C使用最大池化max-pooling進行下采樣，提取局部區域重要的特征信息MP，再將經不同尺度池化的采樣結果進行串聯；令max-pooling的大小為l-p，其中l為序列的長度，p取值為[f-1,f,f+1]，f為卷積核尺度，尺度為f的卷積層經池化大小為l-p的max-pooling操作后輸出MP_i^p如下：

MP_i^p＝max(c_i,c_i+1,...,c_i+l-p-1) (5)

3)對池化結果進行串聯操作，并得出多尺度卷積池化層的終結果

將三個經尺度為f-1、f和f+1的池化操作后的采樣結果進行串聯后，則尺度為f的卷積層的輸出結果為：

MV^f＝(MP^f-1,MP^f,MP^f+1) (6)

故多尺度卷積池化層的最終輸出結果V為：

其中，f₁，f₂和f₃即為所設置的卷積核尺度；

(4)利用BiLSTM層處理信息長期依賴缺失的問題

在多尺度卷積層之后連接一個BiLSTM層，公式如下：

前向LSTM層的計算公式為：

反向LSTM層的計算公式為：

正反兩層結果疊加后輸出為：

其中，t表示時間序列；和表示時刻t時反向層隱層向量和前向層隱層向量，上標f和r為前向層和反向層的標記；v_t表示時刻t的輸入；y_t表示時刻t的輸出；W_vh表示輸入層-隱層權重矩陣；W_hy表示隱層-輸出層權重矩陣；W_hh表示隱層-隱層權重矩陣；b為偏置向量；σ為隱層激活函數；

(5)引入注意力機制，獲取關鍵信息，進一步優化模型

引入注意力機制為BiLSTM網絡的輸出向量y分配不同權重來突出關鍵信息，提高預測性能，其公式如下：

其中，A是經注意力機制作用后得到的特征向量；y_i是BiLSTM網絡輸出的特征向量；α_i是y_i對特征貢獻的注意力權重；評分函數f_att(y_i)是衡量y_i對整個文本的重要程度，其中，評分函數f_att(y_i)包括加性注意力機制和點積注意力機制：加性注意力機制的公式為：

點積注意力機制的公式為：

其中，s表示BiLSTM前向和后向掃描的最終隱藏狀態連接，表示句子語義信息；，v_a,W_a表示為模型中可學習的權重矩陣，為v_a的轉置；b_a為對應的偏置向量；

(6)經全連接層作用后，即可得出預測標簽

使用Flatten層平鋪通過注意力機制獲得的文本語義特征，來連接參數為1的Dense層，并利用激活函數sigmoid將特征向量映射到[0,1]之間，從而獲得預測標簽o，公式如下：

p(o|A)＝sigmoid(W·A+b) (16)

其中，o是預測標簽；W是參數權重矩陣，b是偏移矢量；

模型的損失函數是對數損失函數，而優化器是Adam，通過更新W和b，達到優化模型的目的。