[發明專利]基于深度學習和有限元建模的組織變形模擬系統及方法

有效

• 申請號: 201910299403.3
• 申請日: 2019-04-15
• 公開（公告）號: CN110047145B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 李登旺;趙承倩;吳敬紅;孔問問;虞剛;陸華;劉丹華;薛潔
• 申請（專利權）人: 山東師范大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/30;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 楊曉冰

本發明公開了一種基于深度學習和有限元建模的組織變形模擬系統及方法，利用有限元建模的優勢，并且通過深度學習的方法以減少建模和仿真的計算量。該系統包括圖像采集裝置和處理器；所述圖像采集裝置，用于采集原始圖像和目標圖像，并傳輸至處理器；所述處理器，用于選取原始圖像和目標圖像的感興趣區域，建立原始三維有限元模型和目標形變三維有限元模型，并進行三維配準，得到原始三維有限元模型與目標形變有限元模型之間的旋轉平移矩陣，對旋轉平移矩陣進行有限元分析，提取有限元特征，模擬目標形變組織三維模型。

技術領域

本公開涉及自動定位檢測、有限元建模及配準技術領域，具體涉及一種基于深度學習和有限元建模的組織變形模擬系統及方法。

背景技術

隨著虛擬現實技術的發展，3D建模技術取得了巨大進步，對于輔助醫生準確識別與切除病變組織、避免損傷重要組織器官或功能區、提高手術質量等具有重要臨床意義。3D建模技術的成功應用需要選用有效的建模方法和矯正方法。

實施有效的建模，關鍵步驟之一是生成其網格化模型。網格質量決定了組織變形模擬的精度。基于有限元的建模方法是迄今為止最為有效的數值計算方法之一，能夠滿足組織的生物力學的屬性，并且易于并行處理，但是計算量大。另外，矯正方法的選擇也是建模成功的重要一步。矯正方法大致可以分為三類：術中影像矯正、非剛體配準方法與變形圖譜方法。發明人在研發過程中發現，術中影像矯正是精確度最高的方法，但缺點是費用昂貴，且容易造成術中感染，大規模的臨床推廣仍需時日。非剛體配準算法可分為基于數學模型(如B樣條模型)和基于物理模型(如線彈性模型與固體理論模型)兩種方法。基于物理模型的方法能夠通過組織的生物力學屬性來約束組織的運動，相對于數學模型來說，能大幅減少計算量。

發明內容

為了克服上述現有技術的不足，本公開提供了一種基于深度學習和有限元建模的組織變形模擬系統及方法，利用有限元建模的優勢，并且通過深度學習的方法以減少建模和仿真的計算量。

本公開所采用的技術方案是：

一種基于深度學習和有限元建模的組織變形模擬系統，該系統包括圖像采集裝置和處理器；

所述圖像采集裝置，用于采集原始圖像和目標圖像，并傳輸至處理器；

所述處理器，用于選取原始圖像和目標圖像的感興趣區域，建立原始三維有限元模型和目標形變三維有限元模型，并進行三維配準，得到原始三維有限元模型與目標形變有限元模型之間的旋轉平移矩陣，對旋轉平移矩陣進行有限元分析，提取有限元特征，模擬目標形變組織三維模型。

作為本公開的進一步技術方案，所述處理器包括：

圖像獲取模塊，用于獲取圖像采集裝置采集的原始圖像以及目標圖像，并將其格式轉換為PNG格式的圖像；

感興趣區域選取模塊，用于選取原始圖像和目標圖像的感興趣區域；

三維有限元模型構建模塊，用于利用三維有限元網格生成器分別建立原始三維有限元模型和目標形變三維有限元模型；

三維配準模塊，用于提取原始預配準區域和目標形變預配準區域，并對其進行三維配準，得到原始三維有限元模型與目標形變有限元模型之間的旋轉平移矩陣；

有限元分析模塊，用于對旋轉平移矩陣進行有限元分析，提取旋轉向量和位移向量；

模型模擬模塊，用于將旋轉向量和位移向量作為約束條件，模擬出變形后的目標組織三維模型。

作為本公開的進一步技術方案，所述感興趣區域選取模塊具體用于：

將PNG格式的原始圖像輸入基于OverFeat的深度學習神經網絡，選取原始預建模的感興趣區域，并將原始預建模的感興趣區域歸一化處理至同一尺寸；將PNG格式的目標圖像輸入基于OverFeat的深度學習神經網絡，選取目標預建模的感興趣區域，并將目標預建模的感興趣區域歸一化處理至同一尺寸。