[發(fā)明專(zhuān)利]具有可變焦光學(xué)攝像頭的深度攝像頭及其控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710302885.4
• 申請(qǐng)日: 2017-05-03
• 公開(kāi)（公告）號(hào): CN107301665B
• 公開(kāi)（公告）日: 2020-03-31
• 發(fā)明（設(shè)計(jì)）人: 胡瑜;曾一鳴;唐乾坤;闞美娜;李曉維
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類(lèi)號(hào): G06T7/564
• 分類(lèi)號(hào): G06T7/564;H04N5/232
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種對(duì)具有可變焦光學(xué)攝像頭的深度攝像頭的控制方法，包括由處理器執(zhí)行以下操作：

1)識(shí)別由所述深度攝像頭所拍攝的光學(xué)圖像上存在的物體；

2)確定該物體的識(shí)別置信度；以及

3)如果該物體的識(shí)別置信度不大于設(shè)定閾值，則針對(duì)該物體進(jìn)行光學(xué)變焦和/或數(shù)字變焦，以獲得新的光學(xué)圖像。

2.根據(jù)權(quán)利要求1所述的方法，其中針對(duì)該物體進(jìn)行光學(xué)變焦包括：

3-1)根據(jù)由所述深度攝像頭所拍攝的深度圖像中的深度信息和所述物體在所述光學(xué)圖像上的邊框，計(jì)算進(jìn)行光學(xué)變焦所使用的光學(xué)焦距F_new。

3.根據(jù)權(quán)利要求1所述的方法，其中針對(duì)該物體進(jìn)行光學(xué)變焦包括：

3-1-1)根據(jù)用于確定所述物體的邊框的點(diǎn)在所述光學(xué)圖像上的坐標(biāo)、所述點(diǎn)在深度圖像上的坐標(biāo)、所述光學(xué)攝像頭與深度傳感器之間的物理距離、以及所述物體在變焦后在所述光學(xué)圖像中所占的比例，確定進(jìn)行光學(xué)變焦所使用的光學(xué)焦距F_new。

4.根據(jù)權(quán)利要求3所述的方法，在步驟3-1-1)中通過(guò)下述計(jì)算式確定所述F_new：

其中，(x_w,y_w,z_w)是所述物體上某一點(diǎn)P在世界坐標(biāo)系中的坐標(biāo)，(u,v)是所述點(diǎn)P在圖像坐標(biāo)系中的坐標(biāo)，z是點(diǎn)P在世界坐標(biāo)系中的坐標(biāo)點(diǎn)到圖像平面的距離，dx和dy為每個(gè)像素在圖像物理坐標(biāo)系中X軸和Y軸方向上的尺寸；f為焦距F_new，f_x和f_y為X軸和Y軸方向的等效焦距；u₀和v₀是圖像中心坐標(biāo)；R和T為攝像機(jī)在世界坐標(biāo)中的旋轉(zhuǎn)矩陣和平移矩陣；矩陣L為攝像機(jī)的內(nèi)參數(shù)矩陣，矩陣W為攝像機(jī)的外參數(shù)矩陣。

5.根據(jù)權(quán)利要求1-4中任意一項(xiàng)所述的方法，其中步驟3)還包括：

利用以下計(jì)算式對(duì)經(jīng)過(guò)光學(xué)變焦所重新拍攝的光學(xué)圖像與深度圖像進(jìn)行配準(zhǔn)：

P^c_color＝R^-1_wcR_wdP^c_depth–(R^-1_wcR_wdT_wd-T_wc)

其中，P^c_color為所述重新拍攝的光學(xué)圖像的坐標(biāo)系中的像點(diǎn)的坐標(biāo)；P^c_depth為所述深度圖像上的點(diǎn)在深度攝像頭坐標(biāo)系中的坐標(biāo)；R_wc是光學(xué)攝像頭的圖像坐標(biāo)相對(duì)于世界坐標(biāo)的旋轉(zhuǎn)變換矩陣；T_wc為光學(xué)攝像頭的圖像坐標(biāo)相對(duì)于世界坐標(biāo)的平移變換矩陣；R_wd為深度傳感器的圖像坐標(biāo)相對(duì)于世界坐標(biāo)的旋轉(zhuǎn)變換矩陣；T_wd為深度傳感器的圖像坐標(biāo)相對(duì)于世界坐標(biāo)的平移變換矩陣。

6.根據(jù)權(quán)利要求1-4中任意一項(xiàng)所述的方法，其中步驟3)還包括：

指示深度傳感器生成新的深度圖像。

7.根據(jù)權(quán)利要求1-4中任意一項(xiàng)所述的方法，其中步驟3)包括：

針對(duì)所述物體，在所述光學(xué)圖像的相應(yīng)區(qū)域上進(jìn)行像素插值，使得通過(guò)數(shù)字變焦所獲得的新的光學(xué)圖像上的所述物體的尺寸適中。

8.根據(jù)權(quán)利要求7所述的方法，在所述步驟3)中，基于設(shè)置的優(yōu)先級(jí)來(lái)確定在進(jìn)行光學(xué)變焦之前進(jìn)行數(shù)字變焦或在進(jìn)行數(shù)字變焦之前進(jìn)行光學(xué)變焦。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1-8中任意一項(xiàng)所述的方法。

10.一種深度攝像頭，包括：

可變焦的光學(xué)攝像頭、圖像傳感器、深度傳感器、處理器、和存儲(chǔ)裝置，

其中，所述存儲(chǔ)裝置用于存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被所述處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1-8中任意一項(xiàng)所述的方法。