[發明專利]一種三維圖像自動分割方法、系統、設備和介質

在審

• 申請號: 202211450607.0
• 申請日: 2022-11-18
• 公開（公告）號: CN115880312A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 鄭申海;譚佳欣;姜闖波;李臘全
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V10/26;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 宋海霞

本發明公開了一種三維圖像自動分割方法、系統、設備和介質，包括編碼階段：將待分割三維圖像數據輸入自動分割網絡模型中，采用連續的3D卷積提取圖像原始特征，對圖像的局部特征和全局特征進行感知，獲得多模態特征，確定多模態特征在同一通道維度上的特征相似性；融合階段：根據多模態特征在同一通道維度上的特征相似性，將不同模態特征在同一通道上的特征進行拼接，獲得融合特征，對融合特征進行降維處理；解碼階段：通過跳躍連接將多模態特征從編碼階段連接到解碼階段，將降維處理后的融合特征恢復到與原始特征相同的比例，輸出分割數據。利用全局特征和局部特征，有效地保持了多模態圖像特征，有效利用了不同模式之間的互補性立體特征。

技術領域

本發明涉及數據處理技術領域，具體涉及一種三維圖像自動分割方法、系統、設備和介質。

背景技術

目前，大多數關于醫學圖像自動分割的研究主要集中在特定的單一模態上，但隨著醫學成像設備的多樣化和病理特征的復雜化，許多臨床應用需要結合多種模態的醫學圖像進行分析，這些多模態方法幫助醫生更準確地測量器官或組織的形態和功能，并制定更有效的治療方案。

近幾年來，大多數研究人員專注于將卷積神經網絡(CNN)應用于多模態醫學圖像分割，基于CNN的方法過度關注圖像的局部特征，難以捕捉到長距離的空間依賴關系。并且，它們幾乎只關注圖像的局部特征，而忽略了全局表示。所以，這些基于CNN的方法很難達到最佳的分割效果。

現有的融合兩種模態的特征存在的問題有：第一種方法是在特征提取前將兩種模態圖像合并為一張圖像，這種簡單的方法可以直接使用現有的單模態分割網絡進行分割，但是，這將使原有的信息有很大的損失，同時也不能充分地利用各模態的互補性信息。第二種方法是對兩種模態的圖像分別提取特征，在獲得各自的分割結果后進行融合，同樣，這種方法也可以使用單模態網絡輕松完成，但忽略了兩種模態之間的關聯性。

對于多模態分割，我們考慮兩個最棘手的問題：如何有效地利用來自不同模態的互補信息，以及如何保持器官或組織之間準確的全局形態和位置依賴。這些是使多模態圖像分割比單模態圖像分割更有效的關鍵。

發明內容

本發明所要解決的技術問題是多模態分割時無法有效地利用不同模式之間的互補性立體特征，目的在于提供一種三維圖像自動分割方法、系統、設備和介質，通過對圖像的局部特征和全局特征進行感知，確定多模態特征在同一通道維度上的特征相似性，將不同模態特征在同一通道上的特征進行拼接，通過跳躍連接將多模態特征從編碼階段連接到解碼階段，將多種模態作為整體進行分割，利用全局特征和局部特征，有效地保持了多模態圖像特征，有效利用了不同模式之間的互補性立體特征。

本發明通過下述技術方案實現：

本發明第一方面提供一種三維圖像自動分割方法，包括以下具體步驟：

編碼階段：將待分割三維圖像數據輸入自動分割網絡模型中，采用連續的3D卷積提取圖像原始特征，對圖像的局部特征和全局特征進行感知，獲得多模態特征，確定多模態特征在同一通道維度上的特征相似性；

融合階段：根據多模態特征在同一通道維度上的特征相似性，將不同模態特征在同一通道上的特征進行拼接，獲得融合特征，對融合特征進行降維處理；

解碼階段：通過跳躍連接將多模態特征從編碼階段連接到解碼階段，將降維處理后的融合特征恢復到與原始特征相同的比例，輸出分割數據。

本發明通過對圖像的局部特征和全局特征進行感知，確定多模態特征在同一通道維度上的特征相似性，將不同模態特征在同一通道上的特征進行拼接，通過跳躍連接將多模態特征從編碼階段連接到解碼階段，將多種模態作為整體進行分割，利用全局特征和局部特征，有效地保持了多模態圖像特征，有效利用了不同模式之間的互補性立體特征。

進一步的，所述確定多模態特征在同一通道維度上的特征相似性時還包括：