[發明專利]深度圖像采集裝置和深度圖像采集系統及其圖像處理方法

有效

• 申請號: 201710004217.3
• 申請日: 2017-01-04
• 公開（公告）號: CN108269238B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 王新華;王城特;魏曦陽;趙俊能;胡進
• 申請（專利權）人: 浙江舜宇智能光學技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 寧波理文知識產權代理事務所(特殊普通合伙) 33244
• 代理人: 尹飛宇;孟湘明

1.一深度圖像采集系統，其特征在于，包括：

至少兩紅外成像單元；

至少一彩色成像單元；

一散斑投射單元；和

一圖像處理單元，在工作的過程中，所述散斑投射單元投射紅外光，所述兩紅外成像單元接收目標物體反射的紅外光，得到兩紅外圖像，所述彩色成像單元采集RGB圖像，各所述紅外圖像和所述RGB圖像被傳送至所述圖像處理單元，所述圖像處理單元將各所述紅外圖像和所述RGB圖像融合得到彩色深度圖像；

其中所述圖像處理單元將兩所述紅外單元處理合成一深度圖像，再將所述深度圖像和所述RGB圖像融合得到所述彩色深度圖像；

其中所述圖像處理單元在融合圖像的過程中，先將所述深度圖像坐標按預定方式映射到所述RGB圖像形成深度種子；再尋找RGB圖像中每個像素與之空間距離和彩色距離最小的n個種子；根據選取的種子計算每個像素的深度：D＝D1*q1+…+Dn*qn，其中D為所述像素深度，D1…Dn為最近n個種子的深度，qi為(1/di)/((1/d1)+…+(1/dn))；

其中所述圖像處理單元在融合圖像的過程中，通過獲取公式di＝kd*dd+kc*dc中最小的n個值，尋找RGB圖像中每個像素與之空間距離和彩色距離最小的n個種子，其中dd與dc分別為空間距離及彩色距離，參數kd、kc與n為可調參數。

2.根據權利要求1所述的深度圖像采集系統，其中所述兩紅外成像單元向所述圖像處理單元輸出Bayer格式視頻圖像。

3.根據權利要求1所述的深度圖像采集系統，其中所述圖像處理單元將所述兩紅外圖像進行去噪處理后合成所述深度圖像。

4.根據權利要求3所述的深度圖像采集系統，其中所述去噪處理為去除深度與臨近像素均存在較大差異的像素。

5.根據權利要求1所述的深度圖像采集系統，其中所述圖像處理單元對所述RGB圖像去噪處理后，將所述RGB圖像和所述兩紅外圖像融合。

6.根據權利要求1所述的深度圖像采集系統，其中所述圖像處理單元被設置有至少一輸出接口，以便于通信連接于一電子設備，輸出所述彩色深度圖像。

7.根據權利要求1所述的深度圖像采集系統，其中所述圖像處理單元向所述兩紅外成像單元、所述彩色成像單元、所述散斑投射單元傳送同步信號，同步所述紅外成像單元、所述彩色成像單元和所述散斑投射單元。

8.根據權利要求1至7任一所述的深度圖像采集系統，其中所述圖像處理單元在融合圖像的過程中，先將所述深度圖像坐標依據公式：[u,v,1]＝M*[R|T]*[X,Y,Z]，映射到所述RGB圖像形成深度種子，其中u,v為RGB圖像中的坐標，[X,Y,Z]為紅外散斑雙目深度圖合成的數據，R、T分別為將深度圖坐標系轉換到RGB相機坐標系的旋轉矩陣和平移矩陣，M為RGB相機內參。

9.根據權利要求8所述的深度圖像采集系統，其中所述像素與選取的種子的最短路徑中不包含飛點，否則舍棄當前種子尋找下一種子。