[發(fā)明專利]基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知方法及裝置

有效

• 申請?zhí)枺?/td>: 201711279413.8
• 申請日: 2017-12-06
• 公開（公告）號: CN109889799B
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計）人: 葛晨陽;鄧作為;侯曉琦
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: H04N9/04
• 分類號: H04N9/04;H04N5/361;H04N9/73;G06T5/00;G06T3/60
• 代理公司: 北京中濟(jì)緯天專利代理有限公司 11429
• 代理人: 覃婧嬋

本發(fā)明提供了一種基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知方法及裝置，采用紅外激光散斑編碼投射器投射紅外散斑圖像，或利用紅外泛光源照射出紅外圖像，然后用RGBIR攝像頭按幀采集RGBIR RAW數(shù)據(jù)并進(jìn)行分離，對分離出來的RGB圖進(jìn)行圖像信號處理，對紅外散斑圖進(jìn)行深度感知解碼得到深度值或3D點(diǎn)云，對紅外圖進(jìn)行紅外圖像增強(qiáng)處理，最后可選擇輸出深度圖、RGB圖、紅外圖、RGBD聯(lián)合數(shù)據(jù)或XYZRGB點(diǎn)云數(shù)據(jù)，本發(fā)明的裝置結(jié)構(gòu)間湊，可獲得多種圖像信息，包括深度圖、RGB圖、紅外圖或點(diǎn)云信息，且無需進(jìn)行RGBD配準(zhǔn)即可獲得一一對應(yīng)的XYZRGB點(diǎn)云數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺、人機(jī)交互和集成電路技術(shù)領(lǐng)域，具體涉及一種基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知方法及裝置。

背景技術(shù)

當(dāng)前虛擬世界正無限接近于現(xiàn)實(shí)世界，人機(jī)交互技術(shù)將成為連接虛擬與現(xiàn)實(shí)的“橋梁”。隨著計算機(jī)性能的不斷提升，人們也在不斷地探索更加簡單便捷的方式與機(jī)器交流。其中視覺感官則是人類觀察、認(rèn)識、體驗(yàn)的最直接也是最重要的手段。

基于結(jié)構(gòu)光主動視覺的深度感知技術(shù)可以獲取較為準(zhǔn)確的深度信息，且不受環(huán)境光的影響、算法和硬件實(shí)現(xiàn)相對簡單。但目前的結(jié)構(gòu)光深度感知裝置中RGB攝像頭和IR攝像頭是分離的，RGB攝像頭可以獲得紋理信息，IR攝像頭可以獲得紅外圖像和深度信息，兩者需要通過同步和RGBD精確配準(zhǔn)才能建立一對一的對應(yīng)關(guān)系，參見專利CN204481940U，雙目攝像頭拍照移動終端，就是利用一RGB彩色攝像頭，一IR紅外攝像頭的雙攝像頭配置進(jìn)行深度信息獲取。但由于裝配精度、標(biāo)定精度和使用過程的影響，往往很難實(shí)現(xiàn)遠(yuǎn)近不同距離的RGB圖像素與深度圖或3D點(diǎn)云能一一對應(yīng)。

發(fā)明內(nèi)容

鑒于此，本發(fā)明提供了一種基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知方法及裝置，采用紅外激光散斑編碼投射器投射紅外散斑圖像，或用紅外泛光源照射出紅外圖像，用單一的RGBIR攝像頭采集RGBIR圖，深度感知解碼模塊對輸入的RGBIR RAW數(shù)據(jù)進(jìn)行分離，包括RGB圖、IR圖(紅外散斑圖或紅外圖)，其中對RGB圖進(jìn)行傳統(tǒng)圖像信號處理(Image SignalProcessing，ISP)，對紅外散斑圖進(jìn)行深度感知解碼得到深度值或3D點(diǎn)云，對紅外圖則進(jìn)行紅外圖像增強(qiáng)處理，最后可選擇輸出深度圖、RGB圖、紅外圖、RGBD聯(lián)合數(shù)據(jù)或XYZRGB點(diǎn)云數(shù)據(jù)。

為實(shí)現(xiàn)以上發(fā)明目的，本發(fā)明提供了一種基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知方法，具體地包括以下步驟：

步驟1：RGBIR圖像投射，利用紅外激光散斑編碼投射器投射紅外散斑圖像或利用紅外泛光源照射出紅外圖像到目標(biāo)物體或投射空間上；

步驟2：RGBIR圖像采集，利用單一RGBIR攝像頭將步驟1發(fā)出的紅外散斑圖像或者紅外圖像，和可見光RGB圖像一起采集進(jìn)來，獲得RGBIR RAW數(shù)據(jù)；

步驟3：RGBIR圖像分離，將步驟2采集到的RGBIR RAW數(shù)據(jù)進(jìn)行圖像分離，形成RGB圖像，紅外散斑圖像或紅外圖像，為后面各自的圖像處理做好準(zhǔn)備；

步驟4：分離后圖像處理，將分離出來的RGB圖像進(jìn)行常規(guī)信號處理ISP，分離出來的紅外圖像進(jìn)行紅外增強(qiáng)處理，分離出來的紅外散斑圖則進(jìn)行深度感知解碼，其處理過程包括：預(yù)處理，圖像旋轉(zhuǎn)，塊匹配，深度計算，后處理，三維點(diǎn)云生成；

步驟5：數(shù)據(jù)選擇輸出，將經(jīng)過圖像信號處理后的RGB圖像、紅外圖像、深度圖或點(diǎn)云進(jìn)行選擇性的輸出，可選擇輸出深度圖，RGB圖像，紅外圖像，RGBD數(shù)據(jù)或者XYZRGB點(diǎn)云數(shù)據(jù)。

此外，本發(fā)明還提供了一種基于RGBIR攝像頭的單目結(jié)構(gòu)光深度感知裝置，具體包括：RGBIR圖像產(chǎn)生模塊，RGBIR圖像采集模塊，RGBIR圖像分離模塊，RGBIR圖像處理模塊，和選擇輸出模塊：