[發明專利]一種數據融合方法及電子設備

有效

• 申請號: 202010736196.6
• 申請日: 2020-07-28
• 公開（公告）號: CN111861962B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 錢智明;趙磊;李博文;王爾辛;王赫;張航
• 申請（專利權）人: 湖北億咖通科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孟維娜;馬敬

1.一種數據融合方法，其特征在于，所述方法包括：

獲得圖像采集設備采集的圖像，并獲得基于雷達設備采集的點云數據生成的目標分辨率的第一深度圖，其中，所述圖像采集設備和雷達設備的采集時刻相同、采集區域相同，所述目標分辨率為所述圖像的分辨率；

基于所述圖像和第一深度圖，進行深度圖預測得到所述目標分辨率的第二深度圖和第一置信度圖，并預測所述圖像中每一像素點對應的深度值向各預設方向的其他像素點對應的深度值擴散的參數，其中，所述第一置信度圖中每一像素點的像素值表示所述第二深度圖中該像素點對應的深度值的置信度；

基于預測得到的參數和所述第一深度圖進行深度圖預測，得到所述目標分辨率的第三深度圖和第二置信度圖，其中，所述第二置信度圖中每一像素點的像素值表示所述第三深度圖中該像素點對應的深度值的置信度；

基于所述第一置信度圖和第二置信度圖，對所述第二深度圖和第三深度圖進行數據融合，得到所述圖像對應的深度圖。

2.根據權利要求1所述的方法，其特征在于，所述基于預測得到的參數和所述第一深度圖進行深度圖預測，得到所述目標分辨率的第三深度圖和第二置信度圖，包括：

基于預測得到的參數以及所述第一深度圖中已知像素點對應的深度值，估算所述第一深度圖中未知像素點對應的深度值，得到所述目標分辨率的第四深度圖，其中，所述已知像素點為：基于所述點云數據生成深度值的像素點，所述未知像素點為：所述第一深度圖中除所述已知像素點外的像素點；

針對所述第四深度圖中的每一像素點，基于其他像素點對應的深度值調整該像素點對應的深度值，并獲得該像素點對應的深度值為調整后深度值的置信度，得到所述目標分辨率的第三深度圖和第二置信度圖。

3.根據權利要求2所述的方法，其特征在于，在獲得所述第一深度圖之后，還包括：

生成用于反映所述第一深度圖中所述已知像素點位置和所述未知像素點位置的掩膜圖；

所述基于預測得到的參數以及所述第一深度圖中已知像素點對應的深度值，估算所述第一深度圖中未知像素點對應的深度值，得到目標分辨率的第四深度圖，包括：

基于預測得到的參數以及所述第一深度圖中已知像素點對應的深度值，估算所述第一深度圖中各個像素點對應的深度值；

基于所述掩膜圖，將所述第一深度圖中已知像素點對應的深度值恢復為基于所述點云數據生成的深度值，得到所述目標分辨率的第四深度圖。

4.根據權利要求3所述的方法，其特征在于，所述基于預測得到的參數以及所述第一深度圖中已知像素點對應的深度值，估算所述第一深度圖中各個像素點對應的深度值，包括：

按照以下公式估算所述第一深度圖中各個像素點對應的深度值：

D^t+1＝K(0，0)⊙D⁰+Σ_a*b≠0K(a，b)⊙D^t

其中，D⁰表示第一深度圖中已知像素點的深度值，t表示估算第一深度圖中各個像素點對應的深度值的迭代次數，D^t表示第t次迭代估算第一深度圖中各個像素點對應的深度值，D^t+1表示第t+1次迭代估算第一深度圖中各個像素點對應的深度值，K(a，b)、K(0，0)表示所述預測得到的參數，⊙表示相乘運算。