[發明專利]一種基于多模態多源的深度數據精煉方法及系統

在審

• 申請號: 202010513739.8
• 申請日: 2020-06-08
• 公開（公告）號: CN111667523A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 蒲燦;楊傳宇
• 申請（專利權）人: 深圳阿米嘎嘎科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 盧蓉

1.一種基于多模態多源的深度數據精煉方法，其特征在于，包括以下步驟：

通過RGB攝像頭獲取場景顏色信息，通過語義分割算法對場景顏色信息進行分析，得到語義顏色信息；

通過多個深度傳感器獲取同一時刻同一場景的多源三維點云信息，通過內外參矩陣將多源三維點云信息映射至RGB攝像頭相機平面，得到對應的二維深度信息；

將語義顏色信息和二維深度信息進行結合，得到多源三模態的語義顏色深度信息；

將語義顏色深度信息輸入深度精煉神經網絡預測模型，得到高精度二維深度信息和對應的置信度信息。

2.根據權利要求1所述的一種基于多模態多源的深度數據精煉方法，其特征在于，還包括以下步驟：

使用已標注數據集，結合自定義損失函數項和鑒別神經網絡，對深度精煉神經網絡進行全監督對抗訓練，得到最終的深度精煉神經網絡預測模型。

3.根據權利要求1所述的一種基于多模態多源的深度數據精煉方法，其特征在于，還包括以下步驟：

以RGB攝像頭坐標系為全局坐標系，對RGB攝像頭和各個深度傳感器進行標定，得到內外參矩陣。

4.根據權利要求1所述的一種基于多模態多源的深度數據精煉方法，其特征在于，所述使用已標注數據集，結合自定義損失函數項和鑒別神經網絡，對初始的深度精煉神經網絡進行全監督對抗訓練，得到最終的深度精煉神經網絡預測模型，具體為：

S11，獲取已標注的數據集，所述數據集包括灰度圖i、語義圖s、多個深度傳感器的初始深度圖[d_j](j＝1，2，……，N)和深度圖標簽label；

S12，將灰度圖i、語義圖s和初始深度圖[d_j](j＝1，2，……，N)輸入深度精煉神經網絡，得到融合后的高精度深度圖d_h和對應的置信度圖conf，更新深度精煉神經網絡模型參數；

S13，將深度圖標簽label或融合后的高精度深度圖d_h輸入鑒別神經網絡，鑒別神經網絡預測其輸入的深度圖來自于深度圖標簽的概率并更新鑒別神經網絡模型參數；

其中步驟S12與S13交替進行，直至深度精煉神經網絡所產生的高精度深度圖d_h足夠精確，使得鑒別神經網絡不能鑒別其輸入來自于深度圖標簽還是深度精煉神經網絡，模型收斂，對抗訓練終止。

5.根據權利要求1所述的一種基于多模態多源的深度數據精煉方法，其特征在于，所述通過自定義損失函數進行對抗訓練，具體為：

基于深度圖標簽label和融合后的高精度深度圖d_h，使用四個自定義的函數項分別計算深度距離項E_disp、以語義顏色信息為先驗的鄰域深度值平滑項E_sm、對抗訓練損失函數項E_ad以及置信度損失函數項E_con，將計算得到的四個項值代入最終損失函數；

最終損失函數

其中，系數可動態變化，調整四個系數的大小，使每個損失函數項對最終損失函數的影響一致，根據調整后確定的四個系數進行對抗訓練。

6.根據權利要求1所述的一種基于多模態多源的深度數據精煉方法，其特征在于，所述深度距離項E_disp，計算公式如下：

其中IE表示期望運算，P₁表示深度精煉神經網絡生成高精度深度圖d_h的概率分布，P₀表示深度圖標簽label在場景中真實的概率分布。