[發明專利]多模態的自動化腦室分割系統及其使用方法

在審

• 申請號: 202011062511.8
• 申請日: 2020-09-30
• 公開（公告）號: CN112200810A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 夏軍;楊光;牛張明;江熒輝;葉晴昊;王旻皓
• 申請（專利權）人: 深圳市第二人民醫院（深圳市轉化醫學研究院）
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06K9/62
• 代理公司: 上海智晟知識產權代理事務所(特殊普通合伙) 31313
• 代理人: 張東梅

1.一種多模態的自動化腦室分割系統，其特征在于，包括：

收集模塊，被配置為收集已手動分割的厚層掃描數據集D1和未分割的薄層掃描數據集D2；

構建模塊，被配置為導入預訓練模型構建編碼器ER，通過亞像素卷積層構建解碼器DR，結合編碼器ER和解碼器DR構建多模態的腦室分割模型M；

監督模塊，被配置為使用厚層掃描數據集D1中的已分割信息生成監督信號S；

輸入模塊，被配置為將厚層掃描數據集D1及薄層掃描數據集D2作為輸入，提取特征F，和監督信號S一同，輸入解碼器DR；

損失函數模塊，被配置為聯合厚層掃描數據集D1產生的損失函數L1和薄層掃描數據集D2產生的損失函數L2，得到腦室分割模型M的損失函數L；

訓練模塊，被配置為根據損失函數L，不斷訓練優化腦室分割模型M；

分割模塊，被配置為使用訓練好的腦室分割模型M，對多模態不同掃描方法的腦部圖像進行自動分割。

2.如權利要求1所述的多模態的自動化腦室分割系統，其特征在于，厚層掃描數據集根據厚切圖片集合形成，厚切圖片集合為：

薄層掃描數據集根據薄切圖片集合形成，薄切圖片集合為：

3.如權利要求2所述的多模態的自動化腦室分割系統，其特征在于，構建編碼器ER包括：

利用在ImageNet數據集上預訓練的ResNet-34殘差神經網絡作為編碼器；

分別通過殘差模塊提取各個層的信息；

厚切圖片集合和薄切圖片集合作為輸入的提取特征F，將提取特征F分別輸入解碼器中。

4.如權利要求3所述的多模態的自動化腦室分割系統，其特征在于，對于解碼器，采用亞像素卷積層進行圖片的重建與恢復，其數學表達為：

F^L＝SP(W_L*F^L-1+b_L)

其中SP(·)操作將形狀為H×W×C×r²的張量進行重新排列，使得其排列為形狀為rH×rW×C的張量，F^L-1和F^L是分別為該層的輸入特征和輸出特征，W_L和b_L為亞像素卷積的可訓練參數；

經過解碼器后，得到每個類別的預測概率。

5.如權利要求1所述的多模態的自動化腦室分割系統，其特征在于，采用厚切圖片集合和薄切圖片集合作為腦室分割模型的輸入，并加以厚切的標注信息作為監督信號，通過損失函數優化腦室分割模型，所述損失函數為：

其中λ是超參數，用于調節和的影響，p_s和p_t是腦室分割模型對于厚切圖片和薄切圖片的預測概率，均形狀為H×W×C的張量，其中C代表類別數量；是交叉熵損失函數，其形式為：

6.如權利要求5所述的多模態的自動化腦室分割系統，其特征在于，表示為薄切圖片的預測概率分布與均勻概率分布的距離，均勻概率分布為：

最小化使得預測概率的類別的區分性更大，隱式地將圖像特征推離決策邊界，使得兩個分布對齊；在數學上表示為：

其中C為類別數量。

7.如權利要求6所述的多模態的自動化腦室分割系統，其特征在于，采用皮爾遜χ²散度作為的具體表現形式，皮爾遜χ²散度的梯度表示為：

其梯度具有常數的增長率，不隨著變化而變化。

8.如權利要求7所述的多模態的自動化腦室分割系統，其特征在于，皮爾遜χ²散度為f(x)＝x²-1。

9.一種多模態的自動化腦室分割系統的使用方法，其特征在于，包括：

收集模塊收集已手動分割的厚層掃描數據集D1和未分割的薄層掃描數據集D2；

構建模塊導入預訓練模型構建編碼器ER，通過亞像素卷積層構建解碼器DR，結合編碼器ER和解碼器DR構建多模態的腦室分割模型M；

監督模塊使用厚層掃描數據集D1中的已分割信息生成監督信號S；

輸入模塊將厚層掃描數據集D1及薄層掃描數據集D2作為輸入，提取特征F，和監督信號S一同，輸入解碼器DR；

損失函數模塊聯合厚層掃描數據集D1產生的損失函數L1和薄層掃描數據集D2產生的損失函數L2，得到腦室分割模型M的損失函數L；

訓練模塊根據損失函數L，不斷訓練優化腦室分割模型M；

分割模塊使用訓練好的腦室分割模型M，對多模態不同掃描方法的腦部圖像進行自動分割。