[發明專利]基于深度學習和有限元建模的組織變形模擬系統及方法

有效

• 申請號: 201910299403.3
• 申請日: 2019-04-15
• 公開（公告）號: CN110047145B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 李登旺;趙承倩;吳敬紅;孔問問;虞剛;陸華;劉丹華;薛潔
• 申請（專利權）人: 山東師范大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/30;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 楊曉冰

1.一種基于深度學習和有限元建模的組織變形模擬系統，其特征是，包括圖像采集裝置和處理器；

所述圖像采集裝置，用于采集原始圖像和目標圖像，并傳輸至處理器；

所述處理器，用于選取原始圖像和目標圖像的感興趣區域，建立原始三維有限元模型和目標形變三維有限元模型，并進行三維配準，得到原始三維有限元模型與目標形變有限元模型之間的旋轉平移矩陣，對旋轉平移矩陣進行有限元分析，提取有限元特征，模擬目標形變組織三維模型；

所述處理器包括：

圖像獲取模塊，用于獲取圖像采集裝置采集的原始圖像以及目標圖像，并將其格式轉換為PNG格式的圖像；

感興趣區域選取模塊，用于選取原始圖像和目標圖像的感興趣區域；具體地，

將PNG格式的原始圖像輸入基于OverFeat的深度學習神經網絡，選取原始預建模的感興趣區域，并將原始預建模的感興趣區域歸一化處理至同一尺寸；將PNG格式的目標圖像輸入基于OverFeat的深度學習神經網絡，選取目標預建模的感興趣區域，并將目標預建模的感興趣區域歸一化處理至同一尺寸；

三維有限元模型構建模塊，用于利用三維有限元網格生成器分別建立原始三維有限元模型和目標形變三維有限元模型；

三維配準模塊，用于提取原始預配準區域和目標形變預配準區域，并對其進行三維配準，得到原始三維有限元模型與目標形變有限元模型之間的旋轉平移矩陣；

有限元分析模塊，用于對旋轉平移矩陣進行有限元分析，提取旋轉向量和位移向量；

模型模擬模塊，用于將旋轉向量和位移向量作為約束條件，模擬出變形后的目標組織三維模型；具體地，

讀取原始三維有限元模型；

將有限元分析模塊提取的旋轉向量和平移向量作為有限元仿真的約束；

設置有限元單元形狀參數和仿真材料參數，進行變形仿真，得到變形后的目標組織三維模型。

2.根據權利要求1所述的基于深度學習和有限元建模的組織變形模擬系統，其特征是，還包括主成分分析模塊，所述主成分分析模塊，用于提取原始三維有限元模型和目標有限元模型中用于配準的結點集合，作為三維配準模塊的輸入。

3.一種基于深度學習和有限元建模的組織變形模擬方法，其特征是，該方法包括以下步驟：

獲取原始圖像和目標圖像；

分別選取原始圖像和目標圖像的感興趣區域；

建立原始三維有限元模型和目標形變三維有限元模型，并進行三維配準，得到原始三維有限元模型與目標形變有限元模型之間的旋轉平移矩陣；

對旋轉平移矩陣進行有限元分析，提取有限元特征；

模擬目標形變組織三維模型；

所述分別選取原始圖像和目標圖像的感興趣區域的步驟包括：

將獲取的原始圖像輸入基于OverFeat的深度學習神經網絡，進行不斷訓練，得到原始預建模的感興趣區域，并將原始預建模的感興趣區域進行歸一化處理至同一尺寸；

將獲取的目標圖像輸入基于OverFeat的深度學習神經網絡，進行不斷訓練，得到目標預建模的感興趣區域，并將目標預建模的感興趣區域進行歸一化處理至同一尺寸；

所述三維配準的步驟包括：

對原始三維有限元模型與目標形變有限元模型進行主成分分析，提取原始三維有限元模型和目標有限元模型中用于配準的結點集合，作為三維配準的輸入；

采用基于物理模型的3D-ICP點云配準算法對原始預配準的結點集合和目標形變預配準的結點集合進行三維配準，得到原始三維有限元模型與目標形變有限元模型之間的旋轉平移矩陣；

所述模擬目標形變組織三維模型的步驟包括：

將所建立的原始三維有限元模型輸入仿真器，并將提取的旋轉向量和平移向量作為仿真器的約束條件；

設置有限元單元形狀參數和仿真材料參數，進行變形仿真，得到變形后的目標組織三維模型。

4.根據權利要求3所述的基于深度學習和有限元建模的組織變形模擬方法，其特征是，所述有限元特征包括旋轉向量和位移向量。