[發明專利]基于多模態卷積神經網絡的病理預后分析方法及系統

在審

• 申請號: 202310033883.5
• 申請日: 2023-01-10
• 公開（公告）號: CN116030017A
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 廖欣;李康;許春燕;田博;周頔;鄭欣
• 申請（專利權）人: 四川大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/82;G06V10/80;G06V10/764;G06N3/08;G06N3/0464
• 代理公司: 重慶雙馬智翔專利代理事務所(普通合伙) 50241
• 代理人: 顧曉玲

本發明提出了一種基于多模態卷積神經網絡的病理預后分析方法及系統。該方法為：獲取組織病理圖像集、免疫組化標記圖像集；建立多模態預后分析網絡，所述多模態預后分析網絡包括組織病理圖像篩選網絡、免疫組化圖像篩選網絡以及特征融合網絡；將組織病理圖像于組織病理圖像篩選網絡中進行典型組織病理特征區域篩選，將免疫組化標記圖像集于免疫組化圖像篩選網絡中進行典型免疫特征區域篩選；將篩選得到的典型組織病理特征區域與典型免疫特征區域于特征融合網絡中進行跨模態特征融合,并進行預后狀態預測。該病理預后分析方法通過組織病理圖像篩選網絡、免疫組化圖像篩選網絡以及特征融合網絡的結合，能有效地預測患者的預后狀態是不良還是良好。

技術領域

本發明涉及圖像處理領域，具體涉及一種基于多模態卷積神經網絡的病理預后分析方法及系統。

背景技術

低度惡性的性索間質類腫瘤，是一種易遠期復發，復發后五年生存率顯著降低的腫瘤，因此其預后評估對臨床醫生的診斷決策與制定治療方案具有重要意義，穩定可靠的評估方法將有助于臨床醫生掌握診療主動權，提高患者的遠期生存率。以卵巢粒層細胞瘤(granulosa?cell?tumor?of?ovary,GCT)為例，其也是一類具有低度惡性的性索間質類腫瘤。針對卵巢GCT預后評估，國內外學術界均進行了大量研究，試圖找到較為穩定可靠的卵巢GCT預后相關指標，進而為腫瘤術后治療及療效評估提供依據。通過分析已有研究，我們發現卵巢GCT的各類病理特征與臨床預后有顯著相關性，但不同研究的結論間仍存在較多矛盾和爭議。現有研究大多采用邏輯回歸、卡方分析等傳統統計方法，對單一因素與腫瘤復發相關性做出評判，其預后相關病理指標的差異尚不明確，且不同文獻結果差異較大，難以為臨床醫生提供可靠的判斷決策依據。為了嘗試解決上述問題，有文獻提出了基于半監督協同智能模型的卵巢GCT預后分析方法，也有文獻提出了基于協同森林智能模型的卵巢GCT預后分析方法。但上述方法存在數據特征需要人工設計，以及對病例數據中多模態信息應用不足等局限。

發明內容

為了克服上述現有技術中存在的缺陷，本發明的目的是提供一種基于多模態卷積神經網絡的病理預后分析方法及系統。

為了實現本發明的上述目的，本發明提供了一種基于多模態卷積神經網絡的病理預后分析方法，包括以下步驟：

獲取組織病理圖像集、免疫組化標記圖像集；

建立多模態預后分析網絡，所述多模態預后分析網絡包括組織病理圖像篩選網絡、免疫組化圖像篩選網絡以及特征融合網絡；

將組織病理圖像集、免疫組化標記圖像集于多模態預后分析網絡進行訓練：將組織病理圖像于組織病理圖像篩選網絡中進行典型組織病理特征區域篩選，將免疫組化標記圖像集于免疫組化圖像篩選網絡中進行典型免疫特征區域篩選；將篩選得到的典型組織病理特征區域與典型免疫特征區域于特征融合網絡中進行跨模態特征融合,并進行預后狀態預測；

將待分析的病理圖像于訓練后的多模態預后分析網絡中進行分析。

該病例預后分析方法通過組織病理圖像篩選網絡、免疫組化圖像篩選網絡以及特征融合網絡的結合，能有效地預測患者的預后狀態是不良還是良好。這樣即保留了針對典型特征區域的精細細節特征的識別能力，同時兼顧組織病理圖像及多種免疫組化標記圖像的整體特征，提高了預后分析的準確性。

該基于多模態卷積神經網絡的病理預后分析方法的優選方案：在對多模態預后分析網絡進行訓練前，先分別對組織病理圖像篩選網絡、免疫組化圖像篩選網絡進行單獨訓練。

該基于多模態卷積神經網絡的病理預后分析方法的優選方案：組織病理圖像于組織病理圖像篩選網絡中進行典型組織病理特征區域篩選的篩選策略為：

將組織病理圖像集中的圖像均勻劃分為圖像塊，判斷每個圖像塊的圖像塊類別，并統計每個圖像塊類別的圖像塊數量，以圖像塊數量最多的前C_P種圖像類別作為優勢類別；針對優勢類別，按照各圖像塊類別對應圖像塊數量的比例，確定輸出的典型組織病理特征圖像塊。