[發明專利]基于影像與非影像信息的圖像分割方法及系統

在審

• 申請號: 202110039584.3
• 申請日: 2021-01-12
• 公開（公告）號: CN112651982A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 王世春;白致欣
• 申請（專利權）人: 杭州智睿云康醫療科技有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/00;G06N3/08;G06N3/04;G06K9/62;G06K9/46
• 代理公司: 北京國貝知識產權代理有限公司 11698
• 代理人: 柯俊

1.基于影像與非影像信息的圖像分割方法，其特征在于，包括：獲取待處理的醫療影像以及對應的非圖像信息；

將所述醫療影像和所述非圖像信息輸入至預先訓練好的多模態卷積神經網絡中，得到所述多模態卷積神經網絡的輸出，其中，所述輸出表示對所述醫療影像進行分割的結果；

其中，所述多模態卷積神經網絡包括第一支、第二支和第三支，所述第一支用于將所述醫療影像作為輸入并得到第一支輸出，所述第二支用于將所述非圖像信息作為輸入并得到第二支輸出，所述第三支用于將所述第一支輸出和所述第二支輸出進行融合并進行進一步卷積和反卷積從而得到所述多模態卷積神經網絡的輸出。

2.根據權利要求1所述的方法，其特征在于，所述第一支用于對所述醫療影像進行卷積操作并提取所述醫療影像的特征。

3.根據權利要求2所述的方法，其特征在于，所述第一支包括輸入層、至少一個卷積層、最大池化層和丟棄層，其中，所述輸入層用于獲取所述醫療影像，所述卷積層用于利用卷積核進行卷積操作并輸出張量，所述最大池化層用于對時許數據進行最大池化，所述丟棄層用于防止過擬合。

4.根據權利要求1所述的方法，其特征在于，所述第二支用于對所述非圖像信息進行特征提取。

5.根據權利要求4所述的方法，其特征在于，所述第二支包括輸入層、全連接層和重構層，其中，所述輸入層用于獲取所述非圖像信息，所述全連接層用于根據特征的組合進行分類，所述重構層用于將張量的維度進行重構以使得所述第二支輸出的維度與所述第一支輸出的維度一致。

6.根據權利要求1所述的方法，其特征在于，所述第三支包括上采樣層、卷積層、丟棄層、連結層，其中所述連結層的數量為至少一個；

其中，所述第三支的第一個層為第一連結層，用于所述第一支輸出和所述第二支輸出進行融合；

所述第三支還包括位于第三支的中間的第二連結層，用于將所述第二連結層的上一層的輸出與所述第一支的中間卷積層的輸出進行融合。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述非圖像信息為放療信息或者病人信息，包括以下至少一項：放療周期、術前/術后、病人年齡、病人性別。

8.一種計算機存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被計算機或處理器執行時實現權利要求1至7中任一項所述方法的步驟。

9.一種圖像分割的系統，其特征在于，包括處理器以及如權利要求8所述的計算機存儲介質，當存儲在所述計算機存儲介質上的計算機程序被所述處理器執行時實現權利要求1至7中任一項所述方法的步驟。

10.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1至7中任一項所述方法的步驟。