[發明專利]單目深度圖像采集裝置和系統及其圖像處理方法

在審

• 申請號: 201710007466.8
• 申請日: 2017-01-05
• 公開（公告）號: CN108280807A
• 公開（公告）日: 2018-07-13
• 發明（設計）人: 劉莎莎;魏曦陽;趙俊能;王城特
• 申請（專利權）人: 浙江舜宇智能光學技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 寧波理文知識產權代理事務所(特殊普通合伙) 33244
• 代理人: 尹飛宇;孟湘明

1.一單目深度圖像采集系統，其特征在于，包括：

一紅外成像單元；

一深度轉換單元；

一散斑投射單元；

一彩色成像單元；和

一控制單元，其中所述散斑投射單元用于投射紅外光，所述紅外成像單元接收反射的紅外光，得到紅外圖像信息，所述深度轉換單元將所述紅外圖像信息轉換為單目深度圖像信息，所述彩色成像單元采集RGB圖像，所述控制單元將所述RGB圖像和所述單目深度圖像融合得到彩色單目深度圖像。

2.根據權利要求1所述的單目深度圖像采集系統，其中所述控制單元對所述單目深度圖像去飛點處理。

3.根據權利要求1所述的單目深度圖像采集系統，其中所述控制單元對所述RGB圖像進行去噪處理后，將所述RGB圖像和所述單目深度圖像融合。

4.根據權利要求1所述的單目深度圖像采集系統，其中所述控制單元被設置有至少一輸出接口，以便于通信連接一電子設備，向所述電子設備輸出所述彩色深度圖像。

5.根據權利要求1所述的單目深度圖像采集系統，其中所述控制單元向所述紅外成像單元、所述彩色成像單元、所述散斑投射單元傳送控制信號，以控制所述紅外成像單元，所述散斑投射單元以及所述彩色成像單元的工作。

6.根據權利要求1所述的單目深度圖像采集系統，其中所述控制單元向所述紅外成像單元、所述彩色成像單元、所述散斑投射單元傳送同步信號，以同步所述紅外成像單元、所述彩色成像單元以及所述散斑投射單元。

7.根據權利要求1至6任一所述的單目深度圖像采集系統，其中所述控制單元在圖像融合的過程中，對單目深度圖像中丟失深度信息的像素點賦深度初始值。

8.根據權利要求7所述的單目深度圖像采集系統，其中對單目深度圖像中丟失深度信息的像素點賦初始值的方式為取其周圍像素點的深度均值作為其深度值。

9.根據權利要求1至6任一所述的單目深度圖像采集系統，其中所述控制單元在融合圖像的過程中，將單目深度圖像和RGB圖像整合得到一整幅圖像，將整幅圖像分解為有限個圖像塊(每個圖像塊大小為m×m)，根據公式找出距離圖像塊P_r最近的k-1個圖像塊，其中，I_r和D_r分別是像素塊P_r的RGB和深度信息，是平均深度，α和β分別是色彩和深度的權重。

10.根據權利要求9所述的單目深度圖像采集系統，其中所述控制單元在融合圖像的過程中，將圖像塊P_r及這k-1個圖像塊按列排放構成圖像塊矩陣假設是的理想矩陣，對彩色圖像和單目深度圖像中的物體邊緣進行檢測得到圖像塊的RGB-D結構關系，使用拋物線回歸模型估算出矩陣的秩r。

11.根據權利要求10所述的單目深度圖像采集系統，其中所述控制單元在融合圖像的過程中，根據r的值可對矩陣進行分解：對使用變更算法得到子矩陣A和B，其中W是掩碼矩陣，丟失信息的元素位為0，其余元素為1。

12.根據權利要求11所述的單目深度圖像采集系統，其中所述控制單元在圖像融合的過程中，將矩陣A和B相乘得到其各列即為k個圖像塊對應的深度。

13.根據權利要求12所述的單目深度圖像采集系統，其中所述控制單元在圖像融合的過程中，對每個像素p，取覆蓋p的所有圖像塊的深度均值作為該像素的深度，由此得到整幅圖像的深度圖。

14.一單目深度圖像處理方法，其特征在于，包括步驟：

(A)采集至少一RGB圖像；

(B)采集至少一單目深度圖像；和

(C)融合所述RGB圖像與所述單目深度圖像形成一彩色深度圖像。