[發明專利]基于深度注意力的三維模型分類和檢索方法及裝置

有效

• 申請號: 202110402765.8
• 申請日: 2021-04-14
• 公開（公告）號: CN113313140B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 魏志強;賈東寧;許佳立;殷波;黃賢青;馬猛飛
• 申請（專利權）人: 中國海洋大學;青島海洋科學與技術國家實驗室發展中心
• 主分類號: G06V10/77
• 分類號: G06V10/77;G06V10/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京艾格律詩專利代理有限公司 11924
• 代理人: 王子溟

1.一種基于深度注意力的三維模型分類和檢索方法，其特征在于，所述基于深度注意力的三維模型分類和檢索方法包括：

獲取待檢索三維模型；

根據所述待檢索三維模型，映射生成二維視圖組，所述二維視圖組包括至少兩個二維視圖；

獲取每個所述二維視圖的特征；

通過深度注意力網絡融合各個所述二維視圖的特征，從而形成一個融合特征；

根據所述融合特征對所述待檢索三維模型進行檢索或者分類；所述根據所述待檢索三維模型，映射生成二維視圖組，所述二維視圖組包括至少兩個二維視圖包括：

使用phong算法在不同的角度和/或距離提取所述三維模型的二維視圖，使用GoogleNet網絡提取每個視圖的特征；所述使用phong算法在不同的角度和/或距離提取所述三維模型的二維視圖，使用GoogleNet網絡提取每個視圖的特征包括：

利用三維phong反射算法生成視圖，以一定的間隔θ＝30環繞垂直方向的軸放置，與地平面成30度角，每個相機指向網格的質心；所述深度注意力網絡包括n個處理層；其中第一層處理層為卷積層、最后一個處理層稱為拼接層，其他處理層稱為自注意力層；所述通過深度注意力網絡融合各個所述二維視圖的特征，從而形成一個融合特征包括：

將各個自注意力層疊設，其中一個自注意力層與卷積層相接，作為第一層自注意力層，一個自注意力層與所述拼接層相接，作為最后一層自注意力層，除第一層自注意力層外，每層自注意力層的輸入等于上一層的輸入以及輸出之和，所述拼接層用于獲取所述最后一層自注意力層的輸入以及輸出之和；其中，

所述卷積層用于根據各個所述二維視圖的特征獲取特征矩陣；

所述拼接層用于將最后一層自注意力層的輸入以及輸出之和拼接成所述融合特征；

所述第一層自注意力層進行如下操作獲取本層的輸入與所述輸出之和：

獲取本層的自定義權重矩陣，所述自定義權重矩陣包括以及

獲取卷積層輸出的所述特征矩陣；

通過softmax函數根據所述特征矩陣以及本層的自定義權重矩陣獲取本層的權重矩陣；

根據本層的權重矩陣、自定義權重矩陣以及所述特征矩陣，生成本層的自注意力特征矩陣；

將本層的所述自注意力特征矩陣與所述特征矩陣相加，從而獲得本層的輸入與所述輸出之和；

所述除第一層自注意力層外的其他每層自注意力層進行如下操作獲取自身的輸入與所述輸出之和：

獲取上一層的自注意力層的輸入與所述輸出之和；

獲取本層的自定義權重矩陣，所述自定義權重矩陣包括以及

通過softmax函數根據所述上一層的自注意力層的輸入與所述輸出之和以及本層的自定義權重矩陣獲取本層的權重矩陣；

根據本層的權重矩陣、自定義權重矩陣以及所述上一層的自注意力層的輸入與所述輸出之和，生成本層的自注意力特征矩陣；

將本層的所述自注意力特征矩陣與所述上一層的自注意力層的輸入與所述輸出之和相加，從而獲得本層的輸入與所述輸出之和。

2.如權利要求1所述的基于深度注意力的三維模型分類和檢索方法，其特征在于，所述根據本層的權重矩陣、自定義權重矩陣以及所述特征矩陣，生成本層的自注意力特征矩陣包括：

將權重矩陣、自定義權重矩陣以及所述特征矩陣相乘，以生成本層的自注意力特征矩陣；

所述根據本層的權重矩陣、自定義權重矩陣以及所述上一層的自注意力層的輸入與所述輸出之和，生成本層的自注意力特征矩陣包括：

將權重矩陣、自定義權重矩陣以及所述上一層的自注意力層的輸入與所述輸出之和相乘，以生成本層的自注意力特征矩陣。

3.如權利要求1所述的基于深度注意力的三維模型分類和檢索方法，其特征在于，所述根據所述融合特征對所述待檢索三維模型進行檢索或者分類包括：

將所述融合特征輸入至訓練好的分類器中，以獲取分類標簽；或，

將所述融合特征輸入至預設數據庫中，以從預設數據庫中找到與所述融合特征匹配的特征所對應的三維模型。