[發(fā)明專利]基于多模態(tài)卷積神經(jīng)網(wǎng)絡的病理預后分析方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310033883.5
• 申請日: 2023-01-10
• 公開（公告）號: CN116030017A
• 公開（公告）日: 2023-04-28
• 發(fā)明（設計）人: 廖欣;李康;許春燕;田博;周頔;鄭欣
• 申請（專利權）人: 四川大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/82;G06V10/80;G06V10/764;G06N3/08;G06N3/0464
• 代理公司: 重慶雙馬智翔專利代理事務所(普通合伙) 50241
• 代理人: 顧曉玲

1.一種基于多模態(tài)卷積神經(jīng)網(wǎng)絡的病理預后分析方法，其特征在于，包括以下步驟：

獲取組織病理圖像集、免疫組化標記圖像集；

建立多模態(tài)預后分析網(wǎng)絡，所述多模態(tài)預后分析網(wǎng)絡包括組織病理圖像篩選網(wǎng)絡、免疫組化圖像篩選網(wǎng)絡以及特征融合網(wǎng)絡；

將組織病理圖像集、免疫組化標記圖像集于多模態(tài)預后分析網(wǎng)絡進行訓練：將組織病理圖像于組織病理圖像篩選網(wǎng)絡中進行典型組織病理特征區(qū)域篩選，將免疫組化標記圖像集于免疫組化圖像篩選網(wǎng)絡中進行典型免疫特征區(qū)域篩選；將篩選得到的典型組織病理特征區(qū)域與典型免疫特征區(qū)域于特征融合網(wǎng)絡中進行跨模態(tài)特征融合,并進行預后狀態(tài)預測；

將待分析的病理圖像于訓練后的多模態(tài)預后分析網(wǎng)絡中進行分析。

2.根據(jù)權利要求1所述的基于多模態(tài)卷積神經(jīng)網(wǎng)絡的病理預后分析方法，其特征在于，在對多模態(tài)預后分析網(wǎng)絡進行訓練前，先分別對組織病理圖像篩選網(wǎng)絡、免疫組化圖像篩選網(wǎng)絡進行單獨訓練。

3.根據(jù)權利要求1所述的基于多模態(tài)卷積神經(jīng)網(wǎng)絡的病理預后分析方法，其特征在于，組織病理圖像于組織病理圖像篩選網(wǎng)絡中進行典型組織病理特征區(qū)域篩選的篩選策略為：

將組織病理圖像集中的圖像均勻劃分為圖像塊，判斷每個圖像塊的圖像塊類別，并統(tǒng)計每個圖像塊類別的圖像塊數(shù)量，以圖像塊數(shù)量最多的前C_P種圖像類別作為優(yōu)勢類別；針對優(yōu)勢類別，按照各圖像塊類別對應圖像塊數(shù)量的比例，確定輸出的典型組織病理特征圖像塊。

4.根據(jù)權利要求3所述的基于多模態(tài)卷積神經(jīng)網(wǎng)絡的病理預后分析方法，其特征在于，判斷每個圖像塊的圖像塊類別時，使用輕量級分類網(wǎng)絡LCN、中量級分類網(wǎng)絡MCN、重量級分類網(wǎng)絡HCN對每個圖像塊進行圖像塊類別判斷；并按以下公式對圖像塊進行篩，并統(tǒng)計每個圖像塊類別的圖像塊數(shù)量；

其中，C_LCN(patch_i)、C_MCN(patch_i)、C_HCN(patch_i)分別代表輕量級分類網(wǎng)絡LCN、中量級分類網(wǎng)絡MCN、重量級分類網(wǎng)絡HCN針對第i個圖像塊patch_i判斷的圖像類別；P_LCN(patch_i)、P_MCN(patch_i)、P_HCN(patch_i)分別代表輕量級分類網(wǎng)絡LCN、中量級分類網(wǎng)絡MCN、重量級分類網(wǎng)絡HCN針對第i個圖像塊patch_i判斷圖像類型所對應的置信度。