[發(fā)明專利]基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知方法及裝置

有效

• 申請?zhí)枺?/td>: 201711279413.8
• 申請日: 2017-12-06
• 公開（公告）號: CN109889799B
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 葛晨陽;鄧作為;侯曉琦
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: H04N9/04
• 分類號: H04N9/04;H04N5/361;H04N9/73;G06T5/00;G06T3/60
• 代理公司: 北京中濟(jì)緯天專利代理有限公司 11429
• 代理人: 覃婧嬋

1.一種基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知裝置，其特征在于：

該深度感知裝置包括：

RGBIR圖像產(chǎn)生模塊，用于通過紅外激光散斑編碼投射器投射紅外散斑圖像或利用紅外泛光源照射出紅外圖像，并通過RGBIR攝像頭投射出可見光RGB圖像；

RGBIR圖像采集模塊，用于通過單一RGBIR攝像頭將所述紅外散斑圖像或所述紅外圖像，和所述可見光RGB圖像一起采集，獲得RGBIR RAW數(shù)據(jù)；

RGBIR圖像分離模塊，將采集到的RGBIR RAW數(shù)據(jù)進(jìn)行圖像分離，得到分離的RGB圖像，紅外散斑圖像或紅外圖像；

RGBIR圖像處理模塊，將RGBIR圖像分離模塊分離出的RGB圖像，紅外散斑圖像或紅外圖像分開進(jìn)行圖像處理；

選擇輸出模塊是將經(jīng)過RGBIR圖像處理模塊處理后的RGB圖像，紅外散斑圖像或紅外圖像，進(jìn)行選擇輸出。

2.如權(quán)利要求1所述的單目結(jié)構(gòu)光深度感知裝置，其特征在于：所述紅外散斑圖像進(jìn)行的圖像處理為預(yù)處理，圖像旋轉(zhuǎn)，塊匹配，深度計(jì)算，后處理，三維點(diǎn)云生成。

3.如權(quán)利要求1所述的單目結(jié)構(gòu)光深度感知裝置，其特征在于：

所述選擇輸出模塊的選擇輸出，進(jìn)一步選擇輸出深度圖，RGBD數(shù)據(jù)，或XYZRGB數(shù)據(jù)。

4.如權(quán)利要求2所述的單目結(jié)構(gòu)光深度感知裝置，其特征在于：

所述圖像旋轉(zhuǎn)具體為當(dāng)攝像頭進(jìn)行旋轉(zhuǎn)的時候，圖像傳感器傳給所述RGBIR圖像處理模塊一個信號，使得圖像處理時圖像進(jìn)行旋轉(zhuǎn)，否則不旋轉(zhuǎn)。

5.如權(quán)利要求1所述的單目結(jié)構(gòu)光深度感知裝置，其特征在于：

所述對紅外圖像進(jìn)行的圖像處理是紅外圖像增強(qiáng)操作，具體為：

分析加權(quán)直方圖，剔除零單元，剩下的單元保持前后位置關(guān)系不變，構(gòu)成一個集合{N(i)|1≤i≤K}，K為非零單元個數(shù)；

求出集合N(i)的極大值和最大值；

將上一步驟中的值構(gòu)成另一個集合，{N(i)|1≤i≤L}，L為該集合極大值的個數(shù)；

接著對集合{N(i)|1≤i≤L}再進(jìn)行極大值和最大值計(jì)算，得到一個新的集合{Z(j)|1≤j≤S}，S為這個新集合的個數(shù)，并且S＜L；

求出集合{Z(j)|1≤j≤S}的中值平臺閾值

計(jì)算出新加權(quán)直方圖：

其中P_t(k)是新直方圖，P_r(k)是原來的直方圖，數(shù)字圖像的灰度級k出現(xiàn)的次數(shù)為n_k

P_r(k)＝n_k k＝0，1，2……255

計(jì)算累積直方圖并得出灰度映射；

累積直方圖計(jì)算公式為：

灰度映射計(jì)算公式為：Rt(k)是原有k灰度級對應(yīng)的新灰度級。

6.一種基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知方法，其特征在于：

所述單目結(jié)構(gòu)光深度感知方法包括：

步驟1：接通電源讓電源驅(qū)動正常工作，使紅外激光散斑編碼投射器投射出紅外散斑圖像或利用紅外泛光源照射出紅外圖像，并同時驅(qū)動RGBIR攝像頭，使RGBIR攝像頭投射出RGB彩色圖；

步驟2：利用一RGBIR攝像頭將所述紅外散斑圖像或所述紅外圖像，和所述RGB彩色圖按幀采集，獲得RGBIR RAW數(shù)據(jù)；

步驟3：將經(jīng)過步驟2采集到的RGBIR RAW數(shù)據(jù)進(jìn)行圖像分離；

步驟4：將經(jīng)過圖像分離得到的RGB彩色圖，紅外散斑圖像或紅外圖像分別進(jìn)行圖像處理；

步驟5：將經(jīng)過圖像處理后的RGB彩色圖，紅外散斑圖像或紅外圖像進(jìn)行選擇性的輸出。

7.如權(quán)利要求6所述的單目結(jié)構(gòu)光深度感知方法，其特征在于：

步驟5中的選擇性輸出，進(jìn)一步選擇輸出深度圖，RGBD數(shù)據(jù)或者XYZRGB數(shù)據(jù)。