[發明專利]基于卷積神經網絡與多視角圖的三維模型檢索方法及裝置

有效

• 申請號: 201910329456.5
• 申請日: 2019-04-23
• 公開（公告）號: CN110147460B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 胡書山;朱天放
• 申請（專利權）人: 湖北大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 宋建平

1.一種基于卷積神經網絡與多視角圖的三維模型檢索方法，其特征在于，包括：

獲取非剛性三維模型的多張視角圖，每張視角圖分別對應不同的視角；

通過卷積神經網絡提取所述每張視角圖的卷積特征；

獲取所述每張視角圖的大小，以及包含的各個像素點的像素灰度值；

根據所述各個像素點的像素灰度值確定對應視角圖的灰度分布特征；

根據所述每張視角圖的大小及灰度分布特征計算所述每張視角圖的圖像熵；

根據所述圖像熵確定所述每張視角圖的卷積特征對應的置信度，所述圖像熵與置信度呈正相關關系；

根據所述多張視角圖的卷積特征及對應的置信度確定所述非剛性三維模型與三維模型庫中各個實體模型的相似度；

根據所述相似度檢索與所述非剛性三維模型匹配的實體模型；

在所述獲取非剛性三維模型的多張視角圖之前，所述方法還包括：

獲取圖像數據集，所述圖像數據集包含多張圖像；

對所述圖像數據集中的圖像進行預處理操作，所述預處理操作包括平移、旋轉、縮放及對稱映射中的至少一種；

根據預處理后的圖像數據集訓練得到卷積神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述卷積神經網絡包括13個卷積層及3個全連接層，在所述卷積層中設置有多個最大池化層，在所述3個全連接層后設置有分類層，各個卷積層均采用尺寸為3×3卷積核，所述分類層用于將通過所述卷積層提取的多維特征映射為n維的概率分布，其中，n為大于1的正整數；

在所述根據預處理后的圖像數據集訓練得到卷積神經網絡之后，所述方法還包括：刪除所述全連接層和分類層。

3.根據權利要求1所述的方法，其特征在于，所述獲取非剛性三維模型的多張視角圖，包括：

在虛擬空間中，將非剛性三維模型包圍在一個正方體內；

在所述正方體的六個面中心及八個頂點處各設置對應的虛擬相機，每個虛擬相機均指向所述非剛性三維模型的中心；

分別通過各個虛擬相機渲染對應視角的視角圖。

4.根據權利要求1所述的方法，其特征在于，所述根據所述多張視角圖的卷積特征及對應的置信度確定所述非剛性三維模型與三維模型庫中各個實體模型的相似度，包括：

根據所述多張視角圖的卷積特征，分別計算每張視角圖與實體模型對應視角的視角圖之間的歐式距離；

根據各張視角圖的歐式距離及對應的置信度確定所述非剛性三維模型與所述實體模型的相似度；

所述根據所述相似度檢索與所述非剛性三維模型匹配的實體模型，包括：

將所述非剛性三維模型與所述各個實體模型的相似度按照預定的順序輸出，并將被選取的實體模型作為與所述非剛性三維模型匹配的實體模型。

5.根據權利要求4所述的方法，其特征在于，所述歐式距離計算公式如下：

其中，d_i(x,y)表示所述非剛性三維模型與實體模型的第i個視角圖卷積特征的歐式距離，x為所述非剛性三維模型第i個視角圖的卷積特征，y為實體模型對應第i個視角圖的卷積特征，j為卷積特征x與y的維度，x_k為所述非剛性三維模型第i個視角圖的第k維卷積特征，y_k為實體模型對應第i個視角圖的第k維卷積特征；所述非剛性三維模型與實體模型之間的相似度的度量公式為：

其中，S表示相似度，n為獲取的視角圖數量，d_i為計算得到的所述非剛性三維模型與實體模型的第i個視角圖卷積特征的歐式距離，w為視角圖對應的置信度，i表示第i張視角圖。