[發(fā)明專(zhuān)利]一種基于多尺度卷積注意力神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110153044.8
• 申請(qǐng)日: 2021-02-04
• 公開(kāi)（公告）號(hào): CN112767997B
• 公開(kāi)（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 成金勇;徐穎;劉毅慧;馬玉明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類(lèi)號(hào): G16B15/00
• 分類(lèi)號(hào): G16B15/00;G16B40/20;G06F18/2415;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 濟(jì)南信達(dá)專(zhuān)利事務(wù)所有限公司 37100
• 代理人: 劉淑風(fēng)

1.一種基于多尺度卷積注意力神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)方法，其特征在于，包括以下步驟：

步驟1：數(shù)據(jù)預(yù)處理

1.1)對(duì)蛋白質(zhì)序列中的數(shù)據(jù)進(jìn)行編碼；

1.2)對(duì)數(shù)據(jù)集中每個(gè)蛋白質(zhì)樣本進(jìn)行搜索，生成相應(yīng)的PSSM矩陣，以實(shí)現(xiàn)對(duì)氨基酸數(shù)據(jù)由字母到數(shù)字向量轉(zhuǎn)化，為網(wǎng)絡(luò)分類(lèi)預(yù)測(cè)做準(zhǔn)備；

步驟2：特征提取

2.1)針對(duì)蛋白質(zhì)二級(jí)結(jié)構(gòu)數(shù)據(jù)，設(shè)計(jì)一種多尺度卷積注意力神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取分類(lèi)，該網(wǎng)絡(luò)結(jié)構(gòu)采用3通道并聯(lián)網(wǎng)絡(luò)架構(gòu)，在卷積層中配合不同的卷積核大小和數(shù)量，來(lái)充分提取同一蛋白質(zhì)序列之間的依賴(lài)關(guān)系，盡可能的挖掘數(shù)據(jù)特征；每一層卷積層由特征圖以及卷積核組成，卷積核在特征圖上按固定步長(zhǎng)移動(dòng)，并且與局部感受野對(duì)應(yīng)位置進(jìn)行卷積運(yùn)算，最后經(jīng)過(guò)激活函數(shù)得到輸出值，形成最后的特征圖conv_C；

2.2)對(duì)每個(gè)通道提取到的特征圖conv_C進(jìn)行空間維度和通道維度的注意力感知，將特征圖分別進(jìn)行全局最大池化和全局平均池化操作，得到各自操作的特征向量，然后分別輸入同一個(gè)多層感知機(jī)中，將輸出來(lái)的結(jié)果進(jìn)行逐元素相加，得到一個(gè)通道特征權(quán)重向量；將通道特征權(quán)重向量與特征圖conv_C逐元素相乘，即可得到通道間注意力特征向量

在特征向量的基礎(chǔ)上沿著通道空間維度再次執(zhí)行全局最大池化和全局平均池化操作，得到各自操作的特征向量，將輸出來(lái)的結(jié)果進(jìn)行逐元素相加，經(jīng)過(guò)卷積操作，得到一個(gè)空間特征權(quán)重向量，將空間特征權(quán)重向量與逐元素相乘，即可得到重構(gòu)特征矩陣

步驟3：特征融合

將重構(gòu)特征矩陣再次卷積后提取出的各通道特征數(shù)據(jù)進(jìn)行融合；

步驟4：分類(lèi)預(yù)測(cè)

最后在分類(lèi)預(yù)測(cè)部分，模型采用3層全連接層操作，輸入層接收融合后的特征向量，輸出層用Softmax分類(lèi)器來(lái)預(yù)測(cè)蛋白質(zhì)二級(jí)結(jié)構(gòu)的準(zhǔn)確率；

考慮到傳統(tǒng)的交叉熵?fù)p失函數(shù)在訓(xùn)練過(guò)程中只考慮了特征的可分性，并沒(méi)有考慮向量類(lèi)內(nèi)與類(lèi)間相似性這一訓(xùn)練目標(biāo)，基于交叉熵?fù)p失函數(shù)添加了相關(guān)度量項(xiàng)形成雙重?fù)p失函數(shù)，利用協(xié)方差和標(biāo)準(zhǔn)差計(jì)算預(yù)測(cè)向量與真實(shí)向量類(lèi)內(nèi)與類(lèi)間正負(fù)相關(guān)程度；

步驟5：預(yù)測(cè)結(jié)果評(píng)價(jià)

采取不同評(píng)價(jià)指標(biāo)評(píng)價(jià)預(yù)測(cè)結(jié)果，采用準(zhǔn)確性Q3和分段重疊度量Sov兩種方法對(duì)蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)性能進(jìn)行衡量；

步驟4中，經(jīng)過(guò)Softmax函數(shù)輸出的一個(gè)氨基酸類(lèi)型概率為真實(shí)標(biāo)簽為y＝[y₁,y₂…y_C]，y為one-hot編碼形式,C為樣本總類(lèi)別；提出的雙重?fù)p失函數(shù)可以表示為：

其中，為向量y和的平均值，σ(y)和為和的標(biāo)準(zhǔn)偏差；令

公式(6)可化簡(jiǎn)為：

根據(jù)公式容易得出，ρ_LOSS是一個(gè)介于0和1之間的值，能夠加快網(wǎng)絡(luò)模型收斂的速度，避免了梯度過(guò)大產(chǎn)生爆炸。

2.根據(jù)權(quán)利要求1所述的一種基于多尺度卷積注意力神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)方法，其特征在于，步驟1.1)利用PSI-BLAST工具調(diào)用3次迭代，檢測(cè)進(jìn)化矩陣設(shè)置為BLOSUM62矩陣，E-value設(shè)置為0.00l。

3.根據(jù)權(quán)利要求1所述的一種基于多尺度卷積注意力神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)方法，其特征在于，步驟1.2)所述PSSM矩陣為20*L，其中L是氨基酸序列的長(zhǎng)度，20代表氨基酸類(lèi)型的數(shù)量，每個(gè)類(lèi)型代表殘基突變成相應(yīng)氨基酸類(lèi)型的可能性。

4.根據(jù)權(quán)利要求1所述的一種基于多尺度卷積注意力神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)方法，其特征在于，步驟1)還包括1.3)利用滑動(dòng)窗口對(duì)PSSM矩陣進(jìn)行進(jìn)一步處理，通過(guò)設(shè)置不同尺度的窗口大小，將窗口的中間位置與第一個(gè)有效氨基酸字符重合，依次向氨基酸序列尾端移動(dòng)一個(gè)位置，直到移動(dòng)的次數(shù)等于當(dāng)前切片窗口的氨基酸序列的總長(zhǎng)度時(shí)，當(dāng)前氨基酸序列窗口切片處理完成，得到處理后的不同尺度數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的一種基于多尺度卷積注意力神經(jīng)網(wǎng)絡(luò)的蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)方法，其特征在于，步驟2在所述3通道并聯(lián)網(wǎng)絡(luò)架構(gòu)中通道1采用3×3卷積核堆疊，通道2采用6×6卷積核堆疊，通道3采用9×9卷積核堆疊。