[發(fā)明專利]一種多尺度融合注意力的深度學(xué)習(xí)癌癥分子分型預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202210543763.5
• 申請日: 2022-05-18
• 公開（公告）號: CN114841979A
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 蒯玥;王洪玉;楊德勇;劉文龍
• 申請（專利權(quán)）人: 大連理工大學(xué)人工智能大連研究院;大連康智生物科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G16B40/00
• 代理公司: 青島恒昇眾力知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37332
• 代理人: 蘇友娟

1.一種多尺度融合注意力的深度學(xué)習(xí)癌癥分子分型預(yù)測方法，其特征在于：包括以下步驟：

S1，數(shù)據(jù)獲取及預(yù)處理，獲取癌癥患者分子分型，同時獲取對應(yīng)患者的全尺寸數(shù)字病理切片圖像，根據(jù)癌種特點及該分子分型已知的相關(guān)病理知識選擇適宜倍率對病理圖像進行滑窗切分，獲得非重疊固定尺寸的圖塊，若圖像邊緣切出的圖塊尺寸不足該固定尺寸，則拋棄，對剩余圖塊進行評估，根據(jù)像素值篩除有效組織在圖塊中占比不足50％的圖塊，并對剩余圖塊進行顏色標(biāo)準(zhǔn)化處理，統(tǒng)一染色空間；

S2，篩選腫瘤圖塊，癌癥分子分型與腫瘤相關(guān)性更高，標(biāo)注壞死、純間質(zhì)、含腫瘤圖塊，由于此分類特征較為明顯，分類難度相對較低，使用計算機視覺領(lǐng)域已有的分類網(wǎng)絡(luò)進行遷移學(xué)習(xí)，獲得訓(xùn)練好的模型后對所有圖塊篩選，篩選出含腫瘤圖塊；

S3，構(gòu)建多尺度融合注意力的深度神經(jīng)網(wǎng)絡(luò)模型，以ResNet-50為主干網(wǎng)絡(luò)，引入金字塔卷積PyConv模塊和通道注意力SE模塊，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型；

S4，圖塊分類模型訓(xùn)練，設(shè)置訓(xùn)練學(xué)習(xí)率、優(yōu)化器、損失函數(shù)，將訓(xùn)練集圖塊隨機裁剪至長3,寬224,高224送入所搭建的神經(jīng)網(wǎng)絡(luò)中，計算損失值，反向傳播后更新網(wǎng)絡(luò)參數(shù)，迭代多次完成模型訓(xùn)練，實現(xiàn)圖塊分子分型的分類；

S5，圖塊及病例預(yù)測，將測試集圖塊隨機裁剪至長3,寬224,高224送入已訓(xùn)練好的模型，前向傳播，獲得最終圖塊的測試值，分子分型真值為病例層面的真值，因此將病例所有圖塊的預(yù)測值取均值表示該病例預(yù)測結(jié)果，實現(xiàn)病例分子分型的預(yù)測。

2.根據(jù)權(quán)利要求1所述的一種多尺度融合注意力的深度學(xué)習(xí)癌癥分子分型預(yù)測方法，其特征在于：將所述S3中多尺度融合注意力的深度神經(jīng)網(wǎng)絡(luò)模型搭建，送入網(wǎng)絡(luò)的圖塊要求尺寸為長3,寬224,高224，網(wǎng)絡(luò)搭建具體步驟如下：

S301，網(wǎng)絡(luò)起始搭建卷積層，批歸一化層，經(jīng)ReLU輸出尺寸為長64,寬112,高112；

S302，病理圖像多尺度信息獲取，由3個基本相同的金字塔卷積模型塊組成；

S303，圖塊通道注意力獲取，搭建4個基本相同的注意力模塊；

S304，病理圖像多尺度信息獲取，由6個金字塔卷積模塊組成；

S305，病理圖像信息獲取，由3個金字塔卷積模塊組成；

S306，前序特征集合在此階段經(jīng)過自適應(yīng)平均池化及全連接層，最終傳遞給輸出，輸出節(jié)點數(shù)量為分子分型的類別數(shù)量，輸出結(jié)果即為各類別的預(yù)測概率。

3.根據(jù)權(quán)利要求2所述的一種多尺度融合注意力的深度學(xué)習(xí)癌癥分子分型預(yù)測方法，其特征在于：所述S302中，各模塊分別由三組卷積層和批歸一化層的組合串聯(lián)，并經(jīng)ReLU輸出，其中第二組卷積層為金字塔卷積，三個金字塔卷積模塊差別僅為第一個模塊在最后加入一組最大池化層、卷積層和批歸一化層的組合進行降采樣，本階段中所有金字塔卷積并列四個尺寸的卷積核，卷積核大小分別為3*3、5*5、7*7、9*9，構(gòu)成金字塔形式，前序特征集合與各卷積核卷積后，對生成的特征進行拼接，該階段最終輸出尺寸為長256,寬56,高56的特征集合。

4.根據(jù)權(quán)利要求2所述的一種多尺度融合注意力的深度學(xué)習(xí)癌癥分子分型預(yù)測方法，其特征在于：所述S303中，僅第一個模塊最后多一組最大池化層、卷積層和批歸一化層的組合進行降采樣，注意力模塊將SE模塊嵌入ResNet-50的殘差模塊中，成為SE-ResNet模塊，該模塊以殘差模塊為基礎(chǔ)，在跳躍連接前首先通過全局池化將前序特征集合的空間維度壓縮為實數(shù)作為通道描述符，再經(jīng)過全連接層操作產(chǎn)生各通道權(quán)重映射至特征各通道，該階段輸出尺寸為長512,寬28,高28的特征集合。

5.根據(jù)權(quán)利要求2所述的一種多尺度融合注意力的深度學(xué)習(xí)癌癥分子分型預(yù)測方法，其特征在于：所述S304中，每個金字塔卷積中并列的卷積核為兩個尺寸，分別為3*3、5*5，此階段輸出尺寸為長1024,寬14,高14的特征集合。

6.根據(jù)權(quán)利要求2所述的一種多尺度融合注意力的深度學(xué)習(xí)癌癥分子分型預(yù)測方法，其特征在于：所述S305中，與S302的差異在于此階段共3個金字塔卷積模塊，且每個金字塔卷積中僅一個尺寸為3*3的卷積核，由于金字塔卷積中只剩一個尺寸的卷積核，實際金字塔卷積降為卷積核為3*3的普通卷積層，此階段輸出尺寸為長2048,寬7,高7。