[發明專利]一種kinect拍攝的深度圖與彩色攝像機拍攝視頻的實時配準方法

有效

• 申請號: 201310609865.3
• 申請日: 2013-11-27
• 公開（公告）號: CN103607584A
• 公開（公告）日: 2014-02-26
• 發明（設計）人: 童若鋒;琚旋;成可立
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

1.一種kinect拍攝的深度圖與彩色攝像機拍攝視頻的實時配準方法，其特征在于它包括以下步驟：

(1)、將高清彩色相機和kinect深度相機分別固定，并設置同步拍攝信號；

(2)、將標定用棋盤格隨機置于彩色相機和kinect深度相機之前，并進行同步拍攝，得到同一時刻棋盤格的彩色圖像和深度圖像；將此操作重復多次，直到得到一組不同角度，不同距離的同步拍攝結果；

(3)、在kinect每次拍攝的深度圖中的棋盤格對應的區域內手動隨意標注一塊或若干塊任意形狀區域，保證每張深度圖上標記的區域的像素數目總和不少于10個像素；計算在第i次拍攝的kinect的深度圖中，手動標注的任意區域內的第j個像素點的二維坐標的齊次坐標表示和該點的深度的乘積，記作????????????????????????????????????????????????，并將所有坐標的集合記作；

(4)、對于第i次拍攝得到的坐標集合，將其所有元素帶入空間平面方程：進行平面擬合，并計算得到的平面的法向量；對于集合中的所有元素，計算的均值，將中所有滿足的點濾除，將剩余的點作為新的坐標集合；

(5)、使用張正友的經典彩色攝像機標定算法計算高清彩色相機內參和每次拍攝中彩色相機和棋盤格的相對位置關系，使用旋轉矩陣和平移向量來表示第i次的拍攝的相對位置關系；

(6)、設3*3大小的混合參數和3維向量為未知量；將(4)、(5)兩步得到的經過噪聲濾除步驟的點坐標和第i次拍攝的旋轉參數作為已知量，建立平面約束線性方程：；

(7)、根據點坐標對應的深度對(6)中的方程施加懲罰系數，深度值越小的懲罰系數越大，使得深度較小的點對應的約束方程在方程組中具有較大的權重；

(8)、建立約束方程組，使用線性優化框架求解：1)表示彩色相機和kinect之間的平移參數T；2)由深度相機內參和彩色相機與kinect之間相對旋轉組成的混合參數H；

(9)、使用步驟(6)中得到的H和T兩個參數實時地將kinect捕獲的深度信號映射到高清攝像機捕獲的視頻上。

2.如權利要求1所述的一種kinect拍攝的深度圖與彩色攝像機拍攝視頻的實時配準方法，其特征在于：在步驟（7）中，根據點坐標對應的深度來決定所述平面約束線性方程在整個方程組中的權重，懲罰系數如下所示：

（單位米）

其中depth指的是該像素點對應的深度。

3.如權利要求1所述的一種kinect拍攝的深度圖與彩色攝像機拍攝視頻的實時配準方法，其特征在于：在步驟（8）中，建立約束方程AX=b的具體構造方式為：將3*3大小的混合參數和3維向量組合成12維向量，建立最小二乘意義下的約束方程組：，使用線性優化框架求解：其中，記，，，則在矩陣中對應的行構造為：

相應地，列向量為：

。

4.如權利要求1所述的一種kinect拍攝的深度圖與彩色攝像機拍攝視頻的實時配準方法，其特征在于：在步驟（9）中，所述將得到的H和T兩個參數實時地將kinect捕獲的深度信號映射到高清攝像機捕獲的視頻上的方法為：使用kinect連續拍攝深度圖，對每幅圖像上的每個像素，計算其二維坐標的齊次坐標表示和該點的深度的乘積，接著計算該點在攝像機坐標系下三維坐標：，將該點投影到彩色圖像上，得到其在彩色圖像上的投影位置和對應的深度，完成實時地將kinect捕獲的深度信號映射到高清攝像機捕獲的視頻上，其中：，由于深度圖上的不同像素可能映射到彩色圖像上的同一個坐標下，對于這種情況，將保存最小深度作為彩色圖像上該點的深度。