[發(fā)明專利]用于2D卷積神經(jīng)網(wǎng)絡(luò)的點云數(shù)據(jù)轉(zhuǎn)換方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201980070698.5
• 申請日: 2019-11-06
• 公開（公告）號: CN112912920A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 愛德華多·R·科拉爾·索托;埃赫桑·內(nèi)扎達里亞;劉冰冰
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種方法，其特征在于，包括：

接收點云形式的3D數(shù)據(jù)集；

將所述3D數(shù)據(jù)集編碼為一個或多個陣列的集合，針對所述3D數(shù)據(jù)的每個數(shù)據(jù)點：

通過將所述數(shù)據(jù)點的3D坐標(biāo)投影到由已定義虛擬攝像頭參數(shù)集定義的2D圖像平面上，計算所述一個或多個陣列的2D索引，其中所述虛擬攝像頭參數(shù)集包括定義所述2D圖像平面的攝像頭投影矩陣；

根據(jù)所述計算得到的2D索引，將所述數(shù)據(jù)點的每個3D坐標(biāo)存儲在所述一個或多個陣列中；

輸出所述一個或多個陣列的集合，用于輸入到2D卷積神經(jīng)網(wǎng)絡(luò)(convolved neuralnetwork，CNN)中進行訓(xùn)練或推理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

根據(jù)預(yù)定義的一個或多個參數(shù)對所述3D數(shù)據(jù)進行調(diào)整，生成調(diào)整后的3D數(shù)據(jù)集，其中

所述調(diào)整為以下至少一項：對所述3D坐標(biāo)進行縮放、移位、歸一化或量化；

所述一個或多個陣列的集合由所述調(diào)整后的3D數(shù)據(jù)生成。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述一個或多個陣列的集合包括經(jīng)調(diào)整可識別為圖像數(shù)據(jù)的值。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述虛擬攝像頭參數(shù)包括感興趣區(qū)域(region of interest，ROI)的定義，所述方法還包括：

定義對應(yīng)于所述ROI的所述3D數(shù)據(jù)的子集；

將所述3D數(shù)據(jù)的子集編碼為所述一個或多個陣列的集合。

5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其特征在于，還包括：通過擴張?zhí)畛渌鲆粋€或多個陣列的集合中的任何空洞。

6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其特征在于，還包括：

使用定義第二2D圖像平面的第二虛擬攝像頭參數(shù)集，將所述3D數(shù)據(jù)編碼為一個或多個陣列的第二集合。

7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其特征在于，所述虛擬攝像頭參數(shù)集對應(yīng)于光學(xué)攝像頭的參數(shù)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，還包括：

將所述一個或多個陣列的集合與所述光學(xué)攝像頭獲得的2D圖像數(shù)據(jù)集相組合，以生成組合數(shù)據(jù)集；

將所述組合數(shù)據(jù)集作為所述2D CNN的輸入來進行對象檢測；

輸出2D對象限界框集和2D對象掩碼集。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述組合包括：

在所述一個或多個陣列的集合和所述2D圖像數(shù)據(jù)集之間進行空間配準(zhǔn)；

將所述一個或多個陣列的集合與所述2D圖像數(shù)據(jù)集進行級聯(lián)。

10.一種方法，其特征在于，包括：

接收點云形式的3D數(shù)據(jù)集；

將所述3D數(shù)據(jù)集編碼為一個或多個陣列的集合，針對所述3D數(shù)據(jù)的每個數(shù)據(jù)點：

通過將所述數(shù)據(jù)點的3D坐標(biāo)投影到由已定義虛擬攝像頭參數(shù)集定義的2D圖像平面上，計算所述一個或多個陣列的2D索引，其中所述虛擬攝像頭參數(shù)集包括定義所述2D圖像平面的攝像頭投影矩陣；

根據(jù)所述計算得到的2D索引，將所述數(shù)據(jù)點的每個3D坐標(biāo)存儲在所述一個或多個陣列中；

將所述一個或多個陣列的集合作為2D卷積神經(jīng)網(wǎng)絡(luò)(convolutional neuralnetwork，CNN)的輸入來進行對象檢測，其中所述2D CNN用于輸出檢測對象集；

將所述檢測對象集作為2D分段和回歸單元的輸入來進行對象分類、回歸和分段，其中所述2D分段和回歸單元用于為所述檢測對象集添加感興趣類別標(biāo)簽，并針對所述檢測對象集輸出2D對象限界框集和2D對象掩碼集。