[發(fā)明專利]三維點云檢測模型設計方法及裝置

在審

• 申請?zhí)枺?/td>: 202111201337.5
• 申請日: 2021-10-15
• 公開（公告）號: CN113901692A
• 公開（公告）日: 2022-01-07
• 發(fā)明（設計）人: 趙亞麗;邱中原;陳義飛;劉浩;熊祺;張劍
• 申請（專利權）人: 北京超星未來科技有限公司
• 主分類號: G06F30/23
• 分類號: G06F30/23;G06T17/20;G06F119/02
• 代理公司: 北京清大紫荊知識產權代理有限公司 11718
• 代理人: 張卓

本發(fā)明公開了一種三維點云檢測模型設計方法及裝置，該方法包括：獲取各子模塊的三維點云數(shù)據(jù)，基于各所述子模塊的三維點云數(shù)據(jù)，設計三維點云檢測模型中各子模塊；利用設計得到的各所述子模塊，搭建三維點云檢測模型。該裝置包括子模塊設計模塊，用于獲取各子模塊的三維點云數(shù)據(jù)，基于各所述子模塊的三維點云數(shù)據(jù)，設計三維點云檢測模型中各子模塊；模型構建模塊，用于利用設計得到的各所述子模塊，搭建三維點云檢測模型。本發(fā)明采用靜態(tài)圖方式設計所有子模塊，利用搭積木方式將所有子模塊組成一個完整的三維點云檢測模型。

技術領域

本發(fā)明涉及模型構建技術領域，特別地涉及一種基于靜態(tài)圖的點云3D檢測模型設計方法及裝置。

背景技術

目前三維點云檢測模型由神經(jīng)網(wǎng)絡(稀疏卷積、pointnet++相關組件及其變種)以及其它中間件構成。在現(xiàn)有技術中，數(shù)據(jù)預處理、稀疏卷積以及pointnet++的設計采用了動態(tài)圖的設計方法，即對于某搭建好的一個固定的模型結構，當輸入的點云數(shù)據(jù)尺寸發(fā)生變化的時候，模型內部各個組件的輸入輸出尺寸也會動態(tài)地發(fā)生變化。

在現(xiàn)有的模型設計方法中，若干幀原始點云數(shù)據(jù)經(jīng)過數(shù)據(jù)預處理過程，處理成模型所需的輸入格式，然后送入模型進行目標檢測。在預處理過程中，數(shù)據(jù)輸出的尺寸會隨著當前幀點云數(shù)據(jù)的實際分布而動態(tài)地發(fā)生變化。

在現(xiàn)有的模型設計方法中，在模型內部，當采用稀疏卷積組件或pointnet++相關組件以及其他組件對數(shù)據(jù)進行特征提取的時候，組件輸出特征的尺寸會隨著組件當前幀輸入特征尺寸的變化而動態(tài)地發(fā)生變化。

現(xiàn)有的基于動態(tài)圖設計方法搭建的三維點云檢測模型，在部署推理階段，模型各個組件的輸入輸出尺寸不能固定，因此在實際執(zhí)行每幀點云數(shù)據(jù)的推理過程中，各個組件都需要臨時開辟存儲與計算空間，造成極大的資源浪費，增加了模型推理時間；同時，由于不能固定模型推理所占用的硬件資源，極大影響了檢測系統(tǒng)的內存管理，且內存間無法進行有效復用，降低了硬件存儲的空間利用率。

發(fā)明內容

有鑒于此，本發(fā)明提出一種基于靜態(tài)圖的三維點云檢測模型設計方法及裝置，采用靜態(tài)圖方式設計所有子模塊，利用搭積木方式將所有子模塊組成一個完整的三維點云檢測模型。

本發(fā)明第一方面提供一種三維點云檢測模型設計方法，該方法包括：獲取各子模塊的三維點云數(shù)據(jù)，基于各所述子模塊的三維點云數(shù)據(jù)，設計三維點云檢測模型中各子模塊；利用設計得到的各所述子模塊，搭建三維點云檢測模型。

進一步的，所述設計三維點云檢測模型中各子模塊的步驟，包括：基于各所述子模塊的三維點云數(shù)據(jù)，評估三維點云檢測模型中各所述子模塊所需的計算空間；給三維點云檢測模型中各所述子模塊的每個輸入特征添加額外輸入特征，并計算各所述子模塊的每個輸出特征對應的額外輸出特征；根據(jù)所述額外輸入特征確定各所述子模塊的輸入特征有效個數(shù)，根據(jù)所述額外輸出特征確定各所述子模塊的輸出特征有效個數(shù)。

進一步的，所述評估子模塊所需的計算空間的步驟，包括：獲取子模塊中任意一幀輸入特征三維點云數(shù)據(jù)；根據(jù)所述輸入特征三維點云數(shù)據(jù)的尺寸評估所述子模塊所需的計算空間。

進一步的，所述利用設計得到的各子模塊，搭建三維點云檢測模型的步驟，包括：根據(jù)各所述子模塊所需的計算空間，計算所述三維點云檢測模型所需的計算空間；將各所述子模塊的每個輸入特征、每個額外輸入特征、每個輸出特征以及每個額外輸出特征依次疊加一起，搭建所述三維點云檢測模型。

進一步的，所述計算所述三維點云檢測模型所需的計算空間的步驟，包括：基于得到各所述子模塊所需的計算空間，將各所述子模塊所需的計算空間累加一起得到所述三維點云檢測模型所需的最大內存計算空間。

進一步的：根據(jù)各所述子模塊的額外輸入特征和額外輸出特征的個數(shù)，確定所述三維點云檢測模型中輸入特征及輸出特征的個數(shù)。