[發明專利]一種基于二維圖像信息的三維模型檢索方法

在審

• 申請號: 202011268458.7
• 申請日: 2020-11-13
• 公開（公告）號: CN112330825A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 褚晶輝;鄭博文;聶為之
• 申請（專利權）人: 天津大學
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06T17/00;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于二維圖像信息的三維模型檢索方法，其特征在于，所述方法包括：

獲取預處理后的三維模型的多個二維視圖，基于深度強化學習網絡結構，估計三維模型的最佳姿態，選擇最佳姿態下的虛擬視圖作為三維模型的特征視圖；

對特征視圖做模態轉換，基于生成對抗網絡結構，通過生成器和判別器的不斷對抗，生成虛擬視圖的“真實圖像”，以使特征視圖和檢索圖像具有相同的特征空間；

度量生成圖像和輸入檢索圖像的相似度，通過VGG-NET16網絡結構對圖像做特征向量提取；

通過歐氏距離計算生成圖像和輸入檢索圖像特征向量的相似度，以特征向量的相似度來代表三維模型和檢索圖像間的相似度，根據相似度的大小對檢索結果進行排序。

2.根據權利要求1所述的一種基于二維圖像信息的三維模型檢索方法，其特征在于，所述預處理具體為：

將原始三維模型轉換為可視化讀取文件，將原始三維模型的數據大小進行縮小或者放大，轉換為設定的標準值。

3.根據權利要求1所述的一種基于二維圖像信息的三維模型檢索方法，其特征在于，所述獲取預處理后的三維模型的多個二維視圖具體為：

將三維模型存儲為多邊形網格，使用以Phong映射模型為核心的渲染引擎將多邊形網格生成蛋白質的渲染視圖；

三維模型的動作設置為：“向上旋轉”、“向下旋轉”、“向左旋轉”、“向右旋轉”和“停止”共五個動作，遵循如下規則：

“向左旋轉”和“向右旋轉”表示沿緯度方向對虛擬相機進行移動視角的動作；

“向上旋轉”和“向下旋轉”表示沿經度方向對虛擬相機進行移動視角的動作；

“停止”表示自上次操作后虛擬相機的拍攝視角保持不變；

三維模型的獎勵函數表示為：獎勵函數R與模型狀態的改進成正比，通過三維模型記錄查詢圖像和虛擬視圖之間的相似度來衡量動作設置的改進；

相似性度量定義為：

其中，I_q和I_v分別是真實圖像和虛擬三維模型視圖，和表示輸入檢索圖像和虛擬視圖的“真實圖像”，φ是特征提取的變換函數；當智能體執行動作a從狀態s轉移到狀態s′時，計算獎勵函數R_a(s,s′)；每個狀態都有一個關聯的虛擬視圖I_v，獎勵函數定義如下：

R_a(s,s′)＝sign(S(I_q,I_v′)-S(I_q,I_v))

如果三維模型從狀態s轉移到狀態s′，輸入圖像和模型的相似度提高，則獎勵為正，反之則為負。

4.根據權利要求1所述的一種基于二維圖像信息的三維模型檢索方法，其特征在于，所述生成對抗網絡的目標損失函數為：

其中，為隱藏層的損失，為初始目標函數。

5.根據權利要求1所述的一種基于二維圖像信息的三維模型檢索方法，其特征在于，所述通過VGG-NET16網絡結構對圖像做特征向量提取具體為：

通過VGG-NET16網絡分別對生成圖像和檢索圖像提取底層特征，將網絡Fc7層的輸出結果作為特征向量。