[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)與多視角圖的三維模型檢索方法及裝置

有效

• 申請?zhí)枺?/td>: 201910329456.5
• 申請日: 2019-04-23
• 公開（公告）號(hào): CN110147460B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計(jì)）人: 胡書山;朱天放
• 申請（專利權(quán)）人: 湖北大學(xué)
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 44372
• 代理人: 宋建平

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)與多視角圖的三維模型檢索方法，其特征在于，包括：

獲取非剛性三維模型的多張視角圖，每張視角圖分別對應(yīng)不同的視角；

通過卷積神經(jīng)網(wǎng)絡(luò)提取所述每張視角圖的卷積特征；

獲取所述每張視角圖的大小，以及包含的各個(gè)像素點(diǎn)的像素灰度值；

根據(jù)所述各個(gè)像素點(diǎn)的像素灰度值確定對應(yīng)視角圖的灰度分布特征；

根據(jù)所述每張視角圖的大小及灰度分布特征計(jì)算所述每張視角圖的圖像熵；

根據(jù)所述圖像熵確定所述每張視角圖的卷積特征對應(yīng)的置信度，所述圖像熵與置信度呈正相關(guān)關(guān)系；

根據(jù)所述多張視角圖的卷積特征及對應(yīng)的置信度確定所述非剛性三維模型與三維模型庫中各個(gè)實(shí)體模型的相似度；

根據(jù)所述相似度檢索與所述非剛性三維模型匹配的實(shí)體模型；

在所述獲取非剛性三維模型的多張視角圖之前，所述方法還包括：

獲取圖像數(shù)據(jù)集，所述圖像數(shù)據(jù)集包含多張圖像；

對所述圖像數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理操作，所述預(yù)處理操作包括平移、旋轉(zhuǎn)、縮放及對稱映射中的至少一種；

根據(jù)預(yù)處理后的圖像數(shù)據(jù)集訓(xùn)練得到卷積神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)包括13個(gè)卷積層及3個(gè)全連接層，在所述卷積層中設(shè)置有多個(gè)最大池化層，在所述3個(gè)全連接層后設(shè)置有分類層，各個(gè)卷積層均采用尺寸為3×3卷積核，所述分類層用于將通過所述卷積層提取的多維特征映射為n維的概率分布，其中，n為大于1的正整數(shù)；

在所述根據(jù)預(yù)處理后的圖像數(shù)據(jù)集訓(xùn)練得到卷積神經(jīng)網(wǎng)絡(luò)之后，所述方法還包括：刪除所述全連接層和分類層。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取非剛性三維模型的多張視角圖，包括：

在虛擬空間中，將非剛性三維模型包圍在一個(gè)正方體內(nèi)；

在所述正方體的六個(gè)面中心及八個(gè)頂點(diǎn)處各設(shè)置對應(yīng)的虛擬相機(jī)，每個(gè)虛擬相機(jī)均指向所述非剛性三維模型的中心；

分別通過各個(gè)虛擬相機(jī)渲染對應(yīng)視角的視角圖。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述多張視角圖的卷積特征及對應(yīng)的置信度確定所述非剛性三維模型與三維模型庫中各個(gè)實(shí)體模型的相似度，包括：

根據(jù)所述多張視角圖的卷積特征，分別計(jì)算每張視角圖與實(shí)體模型對應(yīng)視角的視角圖之間的歐式距離；

根據(jù)各張視角圖的歐式距離及對應(yīng)的置信度確定所述非剛性三維模型與所述實(shí)體模型的相似度；

所述根據(jù)所述相似度檢索與所述非剛性三維模型匹配的實(shí)體模型，包括：

將所述非剛性三維模型與所述各個(gè)實(shí)體模型的相似度按照預(yù)定的順序輸出，并將被選取的實(shí)體模型作為與所述非剛性三維模型匹配的實(shí)體模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述歐式距離計(jì)算公式如下：

其中，d_i(x,y)表示所述非剛性三維模型與實(shí)體模型的第i個(gè)視角圖卷積特征的歐式距離，x為所述非剛性三維模型第i個(gè)視角圖的卷積特征，y為實(shí)體模型對應(yīng)第i個(gè)視角圖的卷積特征，j為卷積特征x與y的維度，x_k為所述非剛性三維模型第i個(gè)視角圖的第k維卷積特征，y_k為實(shí)體模型對應(yīng)第i個(gè)視角圖的第k維卷積特征；所述非剛性三維模型與實(shí)體模型之間的相似度的度量公式為：

其中，S表示相似度，n為獲取的視角圖數(shù)量，d_i為計(jì)算得到的所述非剛性三維模型與實(shí)體模型的第i個(gè)視角圖卷積特征的歐式距離，w為視角圖對應(yīng)的置信度，i表示第i張視角圖。