[發(fā)明專利]一種基于多模態(tài)多源的深度數據精煉方法及系統

在審

• 申請?zhí)枺?/td>: 202010513739.8
• 申請日: 2020-06-08
• 公開（公告）號: CN111667523A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設計）人: 蒲燦;楊傳宇
• 申請（專利權）人: 深圳阿米嘎嘎科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 盧蓉

本發(fā)明屬于傳感器深度感知和計算機三維視覺技術領域，具體涉及一種基于多模態(tài)多源的深度數據精煉方法及系統，所述方法包括以下步驟：通過RGB攝像頭獲取場景顏色信息，對場景顏色信息進行分析得到語義顏色信息；通過多個深度傳感器獲取同一時刻同一場景的多源三維點云信息，并將多源三維點云信息轉換為二維深度信息；將語義顏色信息和二維深度信息進行結合，得到多源三模態(tài)的語義顏色深度信息；將語義顏色深度信息輸入深度精煉神經網絡預測模型，得到高精度二維深度信息和對應的置信度信息。本發(fā)明可以得到高精度深度數據和對應的置信度，具有較強魯棒性，且相比于傳統方法，開發(fā)難度較低，對不同深度傳感器的深度數據融合，具有應用上的普適性。

技術領域

本發(fā)明屬于傳感器深度感知和計算機三維視覺技術領域，具體涉及一種基于多模態(tài)多源的深度數據精煉方法及系統。

背景技術

高精度深度數據是智能裝置感知三維世界的基石，不同傳感器感知三維深度數據具有不同優(yōu)劣勢，使用多傳感器融合，互相取長補短，得到廉價高精度深度數據成為一種趨勢。

通過傳統經典多傳感器深度數據融合方法，可實現深度數據融合。但采用這種方法進行深度數據融合時，因需不同專業(yè)人員估算不同種類傳感器深度數據置信度，從而使該類方法開發(fā)難度大，耗時長，方法不具通用性。

使用深度學習進行多傳感器深度數據融合，當前主流技術依然沿著傳統方法思路，如首先使用神經網絡估計置信度再用傳統數學模型融合，傳統方法是假設深度數據概率分布為先驗知識(如馬爾可夫隨機場)，但真實概率分布不能為先驗知識所知，造成其最終深度數據融合精度不夠高；或將深度數據融合問題歸于分類問題，融合后的深度圖，其每一像素值來源于多傳感器之一且未進行任何深度值修正，造成融合后的深度值精度不夠高，且此類方法假設相鄰深度數據值相互獨立，與客觀事實相違背，造成其融合后的深度圖像存在馬賽克效應。而且，當前所有方法，均不能有效給出精煉后的深度數據的置信度。

發(fā)明內容

針對現有技術中的缺陷，本發(fā)明提供了一種基于多模態(tài)多源的深度數據精煉方法及系統，可以得到高精度深度數據和對應的置信度，具有較強魯棒性，且相比于傳統方法，開發(fā)難度較低，對不同深度傳感器的深度數據融合，具有應用上的普適性。

第一方面，本發(fā)明提供了一種基于多模態(tài)多源的深度數據精煉方法，包括以下步驟：

通過RGB攝像頭獲取場景顏色信息，通過語義分割算法對場景顏色信息進行分析，得到語義顏色信息；

通過多個深度傳感器獲取同一時刻同一場景的多源三維點云信息，通過內外參矩陣將多源三維點云信息映射至RGB攝像頭相機平面，得到對應的二維深度信息；

將語義顏色信息和二維深度信息進行結合，得到多源三模態(tài)的語義顏色深度信息；

將語義顏色深度信息輸入深度精煉神經網絡預測模型，得到高精度二維深度信息和對應的置信度信息。

優(yōu)選地，所述方法還包括以下步驟：

使用已標注數據集，結合自定義損失函數項和鑒別神經網絡，對深度精煉神經網絡進行全監(jiān)督對抗訓練，得到最終的深度精煉神經網絡預測模型。

優(yōu)選地，所述方法還包括以下步驟：

以RGB攝像頭坐標系為全局坐標系，對RGB攝像頭和各個深度傳感器進行標定，得到內外參矩陣。

優(yōu)選地，所述使用已標注數據集，結合自定義損失函數項和鑒別神經網絡，對深度精煉神經網絡和鑒別神經網絡進行全監(jiān)督對抗訓練，得到最終的深度精煉神經網絡預測模型，具體為：

S11，獲取已標注的數據集，所述數據集包括灰度圖i、語義圖s、多個深度傳感器的初始深度圖[d_j](j＝1,2，……，N)和深度圖標簽label；