[發明專利]一種多模態腦腫瘤圖像分割系統及方法

在審

• 申請號: 202110023321.3
• 申請日: 2021-01-08
• 公開（公告）號: CN112785602A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 彭德光;朱楚洪;唐賢倫;孫健
• 申請（專利權）人: 重慶兆琨智醫科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 重慶渝之知識產權代理有限公司 50249
• 代理人: 柴社英

1.一種多模態腦腫瘤圖像分割系統，其特征在于，包括：

三個特征加權模塊，分別用于從輸入的不同模態腦腫瘤圖像中獲取體積特征，并對指定區域的體積特征進行加權處理，得到對應區域的加權體積特征；其中，所述指定區域包括腫瘤增強區域、瘤核區域、全腫瘤區域；

第一預測模塊，用于接收腫瘤增強區域對應的加權體積特征，并輸出增強區域預測圖像；

第二預測模塊，用于接收瘤核區域對應的加權體積特征，并輸出瘤核預測圖像；

第三預測模塊，用于接收全腫瘤區域對應的加權體積特征，并輸出全腫瘤預測圖像；

所述第一預測模塊的輸出與所述第二預測模塊的輸入連接；所述第二預測模塊的輸出與所述第三預測模塊的輸入連接。

2.根據權利要求1所述的多模態腫瘤圖像分割系統，其特征在于，所述特征加權模塊至少包括三維卷積層、拼接層和加權單元，輸入的腦腫瘤圖像依次經過三維卷積層、拼接層和加權單元后得到對應的加權體積特征。

3.根據權利要求1所述的多模態腫瘤圖像分割系統，其特征在于，所述第一預測模塊、第二預測模塊和第三預測模塊結構相同，所述第一預測模塊至少包括卷積層和分類層。

4.根據權利要求3所述的多模態腫瘤圖像分割系統，其特征在于，還包括邊界保持模塊，所述邊界保持模塊嵌入各預測模塊的卷積層中，從其中一層卷積層輸出中獲取關鍵點，并根據所述關鍵點生成邊界點圖；

將所述邊界點圖和對應卷積層的輸出合并在一起輸入下一層卷積層。

5.根據權利要求4所述的多模態腫瘤圖像分割系統，其特征在于，還包括邊界形狀判別模塊，將對應預測模塊輸出的預測圖像、邊界點圖以及與所述預測圖像區域對應的預設標簽圖像輸入所述邊界形狀判別器，獲取預測圖像邊界特征與標簽圖像邊界特征的一致性分數；輸出滿足設定分數閾值的預測圖像。

6.根據權利要求5所述的多模態腫瘤圖像分割系統，其特征在于，所述邊界形狀判別模塊包括預測邊界特征獲取單元、標簽邊界特征獲取單元和邊界保持判別器；

將所述預測圖像及對應的邊界點圖輸入所述預測邊界特征獲取單元，獲取預測邊界特征；

將所述標簽圖像及邊界點圖輸入所述標簽邊界特征獲取單元，獲取標簽邊界特征；

根據所述預測邊界特征與所述標簽邊界特征的相似度計算所述一致性分數。

7.根據權利要求1所述的多模態腫瘤圖像分割系統，其特征在于，構建各預測模塊的損失函數，通過反向傳播更新各模塊的網絡參數，進行系統預訓練。

8.根據權利要求1所述的多模態腫瘤圖像分割系統，其特征在于，還包括圖像預處理模塊，對腦腫瘤圖像進行預處理，獲取三通道輸入圖像分別輸入對應的所述特征加權模塊，其中，所述預處理包括：標準化、剪裁、分塊、數據合并及存儲。

9.根據權利要求7所述的多模態腫瘤圖像分割系統，其特征在于，所述損失函數包括BCEDiceLoss損失函數、LovaszhHingeLoss損失函數。

10.一種多模態腫瘤圖像分割方法，其特征在于，包括：

從輸入的不同模態腦腫瘤圖像中獲取體積特征，并對指定區域的體積特征進行加權處理，得到對應區域的加權體積特征；其中，所述指定區域包括腫瘤增強區域、瘤核區域、全腫瘤區域；

將腫瘤增強區域對應的加權體積特征輸入第一預測模塊，獲取增強區域預測圖像；

瘤核區域對應的加權體積特征和所述增強區域預測圖像合并后輸入第二預測模塊，獲取瘤核預測圖像；

將全腫瘤區域對應的加權體積特征和所述瘤核預測圖像合并后輸入第三預測模塊，獲取全腫瘤預測圖像。