[發(fā)明專利]一種三維圖像自動分割方法、系統(tǒng)、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211450607.0
• 申請日: 2022-11-18
• 公開（公告）號: CN115880312A
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計）人: 鄭申海;譚佳欣;姜闖波;李臘全
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V10/26;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 宋海霞

1.一種三維圖像自動分割方法，其特征在于，具體包括以下步驟：

編碼階段：將待分割三維圖像數(shù)據(jù)輸入自動分割網(wǎng)絡(luò)模型中，采用連續(xù)的3D卷積提取圖像原始特征，對圖像的局部特征和全局特征進(jìn)行感知，獲得多模態(tài)特征，確定多模態(tài)特征在同一通道維度上的特征相似性；

融合階段：根據(jù)多模態(tài)特征在同一通道維度上的特征相似性，將不同模態(tài)特征在同一通道上的特征進(jìn)行拼接，獲得融合特征，對融合特征進(jìn)行降維處理；

解碼階段：通過跳躍連接將多模態(tài)特征從編碼階段連接到解碼階段，將降維處理后的融合特征恢復(fù)到與原始特征相同的比例，輸出分割數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種三維圖像自動分割方法，其特征在于，所述確定多模態(tài)特征在同一通道維度上的特征相似性時還包括：

獲取待分割三維圖像數(shù)據(jù)的水平三維局部窗口數(shù)據(jù)和垂直三維局部窗口數(shù)據(jù)，獲取水平方向和垂直方向上的位置編碼，分別確定水平三維局部窗口的自注意力和垂直三維局部窗口的自注意力；

將水平三維局部窗口的自注意力和垂直三維局部窗口的自注意力進(jìn)行拼接，獲得完整的三維自注意力；

根據(jù)完整的三維自注意力構(gòu)建三維可約束的多頭自注意力模塊，根據(jù)構(gòu)建的三維可約束的多頭自注意力模塊對query矩陣、key矩陣和value矩陣進(jìn)行參數(shù)限制，確定三維圖像塊之間的全局相似性和局部相似性。

3.根據(jù)權(quán)利要求2所述的一種三維圖像自動分割方法，其特征在于，對所述自注意力進(jìn)行拼接包括：基于MLP將輸入的待分割三維圖像數(shù)據(jù)進(jìn)行歸一化處理。

4.根據(jù)權(quán)利要求1所述的一種三維圖像自動分割方法，其特征在于，所述對圖像的局部特征和全局特征進(jìn)行感知包括：

采用CNN對圖像的局部特征進(jìn)行感知，采用Transformer對圖像的全局特征進(jìn)行感知；

通過共享局部特征和全局特征參數(shù)，不同模態(tài)特征共同指導(dǎo)自動分割網(wǎng)絡(luò)模型學(xué)習(xí)特征。

5.根據(jù)權(quán)利要求1所述的一種三維圖像自動分割方法，其特征在于，將所述不同模態(tài)特征在同一通道上的特征進(jìn)行拼接前，還包括：

通過共享權(quán)重的方式進(jìn)行特征映射，使不同模態(tài)特征保持在同一特征空間；

對多個模態(tài)特征的融合權(quán)重進(jìn)行學(xué)習(xí)，自動選擇不同模態(tài)。

6.根據(jù)權(quán)利要求5所述的一種三維圖像自動分割方法，其特征在于，所述不同模態(tài)特征在同一通道上的特征進(jìn)行拼接時將不同模態(tài)特征進(jìn)行交錯拼接。

7.根據(jù)權(quán)利要求1所述的一種三維圖像自動分割方法，其特征在于，還包括對自動分割網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，輸出用于深度監(jiān)督的不同尺度的特征圖，所述訓(xùn)練步驟包括：

計算所有輸出的交叉熵?fù)p失和軟骰子損失，對交叉熵?fù)p失和軟骰子損失進(jìn)行求和，獲得多個尺度的所有損失之和。

8.一種三維圖像自動分割系統(tǒng)，其特征在于，包括：

編碼器，所述編碼器包括三維圖像嵌入模塊、三維Transformer模塊和三維協(xié)同學(xué)習(xí)下采樣模塊；

融合器，所述融合器包括基于Transformer的通道交錯自適應(yīng)特征融合模塊；

解碼器，所述解碼器包括三維Transformer模塊、上采樣模塊和三維擴(kuò)展模塊；

編碼階段：將待分割三維圖像數(shù)據(jù)輸入自動分割網(wǎng)絡(luò)模型中，通過三維圖像嵌入模塊采用連續(xù)的3D卷積提取圖像原始特征，通過三維協(xié)同學(xué)習(xí)下采樣模塊對圖像的局部特征和全局特征進(jìn)行感知，獲得多模態(tài)特征，通過三維Transformer模塊確定多模態(tài)特征在同一通道維度上的特征相似性；

融合階段：根據(jù)多模態(tài)特征在同一通道維度上的特征相似性，通過基于Transformer的自適應(yīng)通道交錯特征融合模塊將不同模態(tài)特征在同一通道上的特征進(jìn)行拼接，獲得融合特征，對融合特征進(jìn)行降維處理；

解碼階段：通過跳躍連接將多模態(tài)特征從編碼階段連接到解碼階段，通過三維Transformer模塊再次進(jìn)行特征映射，通過上采樣模塊將降維處理后的融合特征恢復(fù)到與原始特征相同的比例，通過3D擴(kuò)展模塊輸出分割數(shù)據(jù)。