[發(fā)明專利]增強(qiáng)圖像分辨率的系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201580079397.0
• 申請(qǐng)日: 2015-04-30
• 公開（公告）號(hào): CN107534764B
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計(jì)）人: 朱振宇;趙叢;唐克坦
• 申請(qǐng)（專利權(quán)）人: 深圳市大疆創(chuàng)新科技有限公司
• 主分類號(hào): G01S17/02
• 分類號(hào): G01S17/02;G01S17/10;G01S17/89
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張成新

一種用于增強(qiáng)低分辨率深度圖的分辨率的成像設(shè)備以及制作和使用所述成像設(shè)備的方法。所述成像設(shè)備能夠接收低分辨率的深度圖以及高分辨率圖像。所述低分辨率的深度圖能夠由第一成像裝置，例如ToF相機(jī)生成；但是，所述高分辨率圖像能夠由第二成像裝置，例如RGB相機(jī)生成。所述成像設(shè)備能夠接收所述低分辨率的深度圖以及所述高分辨率圖像作為強(qiáng)度和灰度圖像并且利用所述強(qiáng)度和灰度圖像之間的分辨率的差異生成退化模型。所述退化模型可以方便地反過來應(yīng)用至所述低分辨率的深度圖以創(chuàng)建高分辨率的深度圖。在一個(gè)實(shí)施方式中，所述退化模型可以通過從所述強(qiáng)度及灰度圖像的對(duì)應(yīng)圖像塊比較生成。

背景技術(shù)

飛行時(shí)間(或者“ToF”)相機(jī)是一種基于測(cè)量從相機(jī)向場(chǎng)景發(fā)射的光信號(hào)的飛行時(shí)間的距離成像相機(jī)。從場(chǎng)景反射回的光線相對(duì)于發(fā)射出的光信號(hào)具有延遲相位。ToF相機(jī)依賴測(cè)量反射光線相對(duì)于發(fā)射光線的相位偏移來計(jì)算相機(jī)與場(chǎng)景之間的距離，從而獲得環(huán)境深度的感知。

ToF相機(jī)通常包括感測(cè)從環(huán)境反射回的光線的圖像傳感器。所述圖像傳感器在圖像采集中具有很快的速度并能感知深度。對(duì)于諸如小型機(jī)器人玩具或者其他高科技消費(fèi)品的避免碰撞與導(dǎo)航功能來說，ToF相機(jī)的速度與深度感知將會(huì)使其成為好的候選品。但是，ToF相機(jī)相對(duì)于諸如紅綠藍(lán)(“RGB”)攝像機(jī)等普通的相機(jī)具有低的圖像分辨率，這樣的分辨率限制了其用途。

因此有必要提供一種改進(jìn)的ToF成像系統(tǒng)及方法，其具有更好的分辨率以增強(qiáng)ToF成像系統(tǒng)的深度識(shí)別。

發(fā)明內(nèi)容

根據(jù)本文公開的第一方面，提出一種增強(qiáng)圖像分辨率的方法，包括：

獲得場(chǎng)景的一個(gè)或多個(gè)圖像，所述一個(gè)或多個(gè)圖像與第一深度圖相關(guān)；及

根據(jù)所述一個(gè)或多個(gè)圖像確定所述場(chǎng)景的第二深度圖，

其中所述第二深度圖具有比所述第一深度圖更高的分辨率。

所述公開的方法的示例性實(shí)施方式進(jìn)一步包括獲得所述場(chǎng)景的第一圖像，

其中所述第一圖像包括深度圖。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，獲得第一圖像包括通過第一成像裝置捕獲第一圖像。

所述公開的方法的示例性實(shí)施方式進(jìn)一步包括根據(jù)所述第一圖像確定所述第一深度圖及與所述第一圖像相關(guān)的強(qiáng)度圖像。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，所述第一成像裝置包括飛行時(shí)間(“ToF”)相機(jī)。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，獲得包括捕獲所述場(chǎng)景的第二圖像。

其中所述第二圖像包括紅、綠和藍(lán)(“RGB”)圖像。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，捕獲第二圖像包括通過第二成像裝置捕獲所述第二圖像。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，所述第二成像裝置包括RGB相機(jī)。

所述公開的方法的示例性實(shí)施方式進(jìn)一步包括校準(zhǔn)所述第一成像裝置與所述第二成像裝置中的至少一個(gè)。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，校準(zhǔn)包括：

獲得所述第一與第二成像裝置坐標(biāo)之間的轉(zhuǎn)換關(guān)系。

所述公開的方法的示例性實(shí)施方式進(jìn)一步包括：

映射所述第二圖像的一個(gè)或多個(gè)像素到所述第一圖像。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，確定包括通過所述場(chǎng)景的所述第一圖像與所述場(chǎng)景的所述第二圖像生成第二深度圖。

在所述公開的方法的一個(gè)示例性實(shí)施方式中，生成第二深度圖進(jìn)一步包括使第一圖像轉(zhuǎn)換成與第一圖像相關(guān)的強(qiáng)度圖像和第一深度圖，及使第二圖像轉(zhuǎn)換成與第二圖像相關(guān)的灰度圖像中的至少一個(gè)。