[發明專利]一種基于多視角雙注意網絡的三維物體識別方法

有效

• 申請號: 202110120015.1
• 申請日: 2021-01-28
• 公開（公告）號: CN112784782B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 蔡宇;王文舉;王濤
• 申請（專利權）人: 上海理工大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/46;G06V10/77;G06V10/764;G06V10/82;G06N3/0464;G06N3/047;G06N3/048;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

本發明提供了一種基于多視角雙注意網絡的三維物體識別方法，包括以下步驟：步驟1，將原始三維物體從n個視角投影到二維平面渲染得到n個視圖，將n個視圖分別經過基礎CNN模型進行特征提取對應得到n個視覺特征；步驟2，將n個視覺特征輸入視圖空間注意力模塊進行處理后得到視覺空間描述符；步驟3，將n個視覺特征輸入視圖通道注意力模塊進行處理后得到視覺通道描述符；步驟4，將視覺空間描述符和視覺通道描述符進行聯合得到三維形狀描述符，將該三維形狀描述符輸入到全連接網絡中完成物體識別，得到原始三維物體的預測識別分類結果。

技術領域

本發明涉及一種三維物體識別方法，具體涉及一種基于多視角雙注意網絡的三維物體識別方法。

背景技術

近幾年來隨著三維成像傳感器和三維重建技術的發展，人們可以從生活中便捷地捕獲大量的三維物體結構信息。三維對象的識別已經成為計算機視覺和人工智能領域中最基本的問題之一。隨著大規模三維數據庫和深度學習的快速發展，已經提出了各種方法用于三維物體識別。三維物體識別研究根據方法不同主要分為二大類：早期的傳統方法和近期深度學習的方法。早期三維物體識別一般采用人工設計的三維數據描述特征和機器學習的方法分類識別。近期基于深度學習的三維物體識別可分為：基于體素的方法，基于點云的方法和基于多視圖的方法。

基于體素的代表方法是是美國卡內基梅隆大學Maturana等人提出的VoxNet，引入了一個稱為VoxNet的體積占用網絡來實現魯棒性的三維目標識別。基于體素的方法體素形式的數據精度依賴于其分辨率，高分辨率所帶來的龐大計算量限制了其發展。

基于點云的方法代表作是是美國斯坦福大學Charles?Qi等人提出的PointNet和PointNet++。對于三維物體識別問題，這種直接使用無序點云進行卷積神經網絡處理的方法一直是三維對象分類和分割的追求。但是它突出的問題是缺乏足夠的高質量訓練數據。盡管有許多相關數據集，這些仍然不能與像ImageNet這樣的二維圖像數據集的大小相比。另一個關鍵挑戰是點云數據的無序性和非均勻性，這些特性意味著直接應用空間卷積非常具有挑戰性。

基于視圖的方法從多個角度渲染，得到三維對象不同角度拍攝的視圖。其代表方法美國馬薩諸塞大學阿默斯特Su等人提出MVCNN。此類基于多視角的三維物體識別能夠運用海量的數據集如ImageNet?進行預訓練，直接在二維卷積神經網絡上應用渲染后的二維視角圖像，實現93％以上的正確類別級別識別性能。但相比與傳統二維圖像分類，基于多視圖的三維物體識別分類精度還有較大提升空間，有待于進一步深入研究。

發明內容

本發明是為了解決上述問題而進行的，目的在于提供一種基于多視角雙注意網絡的三維物體識別方法。

本發明提供了一種基于多視角雙注意網絡的三維物體識別方法，具有這樣的特征，包括以下步驟：步驟1，將原始三維物體從n個視角投影到二維平面渲染得到n個視圖，將n個視圖分別經過基礎CNN?模型進行特征提取對應得到n個視覺特征；步驟2，將n個視覺特征輸入視圖空間注意力模塊進行處理后得到視覺空間描述符；步驟3，將n個視覺特征輸入視圖通道注意力模塊進行處理后得到視覺通道描述符；步驟4，將視覺空間描述符和視覺通道描述符進行聯合得到三維形狀描述符，將該三維形狀描述符輸入到全連接網絡中完成物體識別，得到原始三維物體的預測識別分類結果。

在本發明提供的基于多視角雙注意網絡的三維物體識別方法中，還可以具有這樣的特征：其中，步驟1包括以下子步驟：