[發明專利]基于影像與非影像信息的圖像分割方法及系統

在審

• 申請號: 202110039584.3
• 申請日: 2021-01-12
• 公開（公告）號: CN112651982A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 王世春;白致欣
• 申請（專利權）人: 杭州智睿云康醫療科技有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/00;G06N3/08;G06N3/04;G06K9/62;G06K9/46
• 代理公司: 北京國貝知識產權代理有限公司 11698
• 代理人: 柯俊

本申請提供了基于影像與非影像信息的圖像分割方法及系統。該方法包括：獲取待處理的醫療影像以及對應的非圖像信息；將醫療影像和非圖像信息輸入至預先訓練好的多模態卷積神經網絡中，得到多模態卷積神經網絡的輸出，該輸出表示對醫療影像進行分割的結果?？梢姡旧暾垖嵤├軌蚶妙A先訓練好的多模態卷積神經網絡實現對醫療影像的分割，具體地實現對放療器官和靶區的分割。這種方式對操作者沒有要求，不需要有經驗的醫生進行，并且使用卷積神經網絡的方式得到的分割結果快速準確，一方面極大地減少了人力成本，另一方面該卷積神經網絡還同時考慮非圖像信息，從而確保更加科學和精準的放療器官和靶區的分割。

本發明涉及圖像處理領域，尤其涉及基于影像與非影像信息的圖像分割方法及系統。

背景技術

有些病人因為病情特殊性需要進行放療，但是在放療前需要確定具體的部位。目前一般的操作是：醫生根據其經驗，結合病人的各種情況，對病人的醫療影像進行針對性的勾靶，從而手動地實現放療器官和靶區的分割。

這樣的做法至少存在以下弊端：

1、手動分割方式對醫生的經驗要求很高，經驗不足的醫生不能進行較為精確的勾靶。

2、醫生需要花大量的時間和精力勾靶，消耗了大量的人力資源，使得醫生在其他事情上的精力縮減。

3、即使醫生經驗豐富，但是由于是依賴人力的手動方式，不能避免出錯的可能性。

考慮到上述弊端，目前可使用的一種方式是基于單純的醫學影像進行學習并實現圖像分割，然而這種方式只考慮了影像信息，不能學習到非影像信息，從而因不能進行針對性的勾靶而導致分割的結果不準確。

發明內容

本發明提供基于影像與非影像信息的圖像分割方法及系統，能夠使用卷積神經網絡實現對醫療影像的分割，減小了人力成本。

根據本申請的第一方面，提供了一種基于影像與非影像信息的圖像分割方法，包括：

獲取待處理的醫療影像以及對應的非圖像信息；

將所述醫療影像和所述非圖像信息輸入至預先訓練好的多模態卷積神經網絡中，得到所述多模態卷積神經網絡的輸出，其中，所述輸出表示對所述醫療影像進行分割的結果；

其中，所述多模態卷積神經網絡包括第一支、第二支和第三支，所述第一支用于將所述醫療影像作為輸入并得到第一支輸出，所述第二支用于將所述非圖像信息作為輸入并得到第二支輸出，所述第三支用于將所述第一支輸出和所述第二支輸出進行融合并進行進一步卷積和反卷積從而得到所述多模態卷積神經網絡的輸出。

所述第一支用于對所述醫療影像進行卷積操作并提取所述醫療影像的特征。

所述第一支包括輸入層、至少一個卷積層、最大池化層和丟棄層，其中，所述輸入層用于獲取所述醫療影像，所述卷積層用于利用卷積核進行卷積操作并輸出張量，所述最大池化層用于對時許數據進行最大池化，所述丟棄層用于防止過擬合。

所述第二支用于對所述非圖像信息進行特征提取。

所述第二支包括輸入層、全連接層和重構層，其中，所述輸入層用于獲取所述非圖像信息，所述全連接層用于根據特征的組合進行分類，所述重構層用于將張量的維度進行重構以使得所述第二支輸出的維度與所述第一支輸出的維度一致。

所述第三支包括上采樣層、卷積層、丟棄層、連結層，其中所述連結層的數量為至少一個。

所述第三支的第一個層為第一連結層，用于所述第一支輸出和所述第二支輸出進行融合；所述第三支還包括位于第三支的中間的第二連結層，用于將所述第二連結層的上一層的輸出與所述第一支的中間卷積層的輸出進行融合。

所述非圖像信息為放療信息或者病人信息，包括以下至少一項：放療周期、術前/術后、病人年齡、病人性別。