[發明專利]一種基于多模態信息融合的三維模型分類方法

有效

• 申請號: 202010129143.8
• 申請日: 2020-02-28
• 公開（公告）號: CN111460193B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 張靜;陳闖;聶為之
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于多模態信息融合的三維模型分類方法，其特征在于，所述方法包括以下步驟：

1)利用OPENGL提取三維模型的視圖信息和全景圖信息，利用PCL提取三維模型的點云信息；

2)通過對多模態網絡進行獨立的單模態網絡訓練進而學習多模態網絡模型，利用多模態網絡模型獲取三維模型在不同模態下的預測得分；

3)通過構造聚合函數將不同模態下的預測得分聚合在一起生成最終的預測得分，利用Softmax算法對最終的預測得分進行處理生成類標簽；

其中，上述步驟1)具體為：

利用OPENGL實現三維模型的渲染，其中OPENGL提供了一系列渲染三維矢量圖形的接口；

通過對三維模型的多視角拍攝獲取表征三維模型視圖信息的多視角視圖，通過對三維模型的曲面投影獲取三維模型的全景圖信息；

利用蝴蝶細分算法對三維模型的表面信息進行細分進而實現三維模型的網格化；

利用網格的質心表示三維模型中的網格，PCL提供了點云操作的一系列接口，通過調用PCL中的庫函數獲取表征三維模型的1024個點，1024個點構成了三維模型的點云信息；

所述步驟2)具體為：

多視圖網絡基于MVCNN架構構建，MVCNN架構中的視圖池化層實現了對所有視圖的最大池化；

點云網絡基于經典PointNet架構搭建，通過學習一個3×3矩陣對輸入點云網絡中的n個點的三維坐標進行均衡化，根據每個點的k近鄰獲取該點的局部圖像片，通過對多通道應用一個1×1的卷積網絡計算點云空間的邊緣特征，最后對相鄰的邊緣特征進行池化操作后生成張量特征；

全景圖網絡利用MVCNN架構實現，架構中的參數基于全景圖數據進行了重置；

將三種模態的數據輸入訓練好的多模態網絡模型獲取三維模型在不同模態下的預測得分；

所述步驟3)具體為：

基于多模態網絡模型輸出的三維模型三種模態的預測得分進行統計實驗進而確定不同模態預測得分的權重；

通過構建一致性函數將不同模態下的預測得分聚合在一起生成最終的預測得分，利用Softmax函數將聚合結果映射為0-1的實數進而預測三維模型歸屬類別的概率。