[發(fā)明專利]一種kinect拍攝的深度圖與彩色攝像機拍攝視頻的實時配準方法

有效

• 申請?zhí)枺?/td>: 201310609865.3
• 申請日: 2013-11-27
• 公開（公告）號: CN103607584A
• 公開（公告）日: 2014-02-26
• 發(fā)明（設計）人: 童若鋒;琚旋;成可立
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

技術領域

本發(fā)明涉及一種kinect拍攝的深度圖與彩色攝像機拍攝視頻的實時配準方法。

背景技術

隨著數據存儲、傳輸技術的提高以及攝像機鏡頭工藝的進步，高清攝像機和高清網絡攝像頭逐漸進入了人們的視野。使用這些設備，人們可以輕松地獲取高質量的視頻素材，并與他人進行高清視頻通信。但是近年來，隨著增強現實技術和立體顯示技術的發(fā)展，傳統的二維高清視頻已經不能滿足人們的需求，人們渴望能夠更簡單地對視頻素材進行高質量編輯，立體顯示，或在實時視頻通信過程中與計算機合成的虛擬物體進行高真實感的互動，而這一切都依賴于視頻的深度生成技術。

視頻的深度生成技術是計算機視覺領域的經典難題。為了恢復在視頻拍攝的過程中所丟失的深度信息，無數的科學家投身于這個領域，并提出了一系列經典的算法。但是到目前為止，沒有一個算法能夠在保證視頻深度生成的實時性的同時保證對復雜場景深度生成的正確性。而且目前的所有證據都顯示，距離同時滿足“實時性”和“正確性”的視頻深度生成算法的產生，還有很長的時間。

因此，人們傾向于使用特殊的設備進行視頻和深度的同時捕獲，這樣雖然能夠同時滿足深度信息的“實時性”和“正確性”，但這類特殊設備往往體積巨大而且價格不菲，是普通的用戶無法承受的。

近幾年，微軟推出了一種輕量級的深度捕獲設備kinect，它體積小，價格便宜，能夠實時地捕獲場景深度，這個設備讓人們對視頻深度生成再次燃起了希望。但是不幸的是，雖然kinect設備本身提供了彩色攝像頭用以捕獲視頻數據，但是這個攝像頭的分辨率非常低，無法滿足人們對高清視頻的需求。而使用額外的高清攝像機和kinect分別捕捉高清視頻和深度信息，則由于兩個設備的視角存在差異而導致捕獲的視頻和深度數據在空間上無法對齊。

近年來，許多學者相繼提出了克服這個空間差異的算法。但是都存在著容易受到深度數據的噪聲影響和計算效率低的問題。

發(fā)明內容

本發(fā)明所要解決的技術內容是提出一種將kinect實時捕獲的深度圖與高清攝像機拍攝的視頻進行配準的、穩(wěn)定的、快速的實時配準方法。

為此本發(fā)明采用以下技術方案，它包括以下步驟：

(1)、將高清彩色相機和kinect深度相機分別固定，分別固定的位置為任意位置，本發(fā)明所述的實時配準方法能夠處理kinect和深度相機之間存在任意較大視角差異情況下的準確配準，并設置同步拍攝信號；

(2)、將標定用棋盤格隨機置于彩色相機和kinect深度相機之前，并進行同步拍攝，得到同一時刻棋盤格的彩色圖像和深度圖像。將此操作重復多次，直到得到一組不同角度，不同距離的同步拍攝結果；

(3)、在kinect每次拍攝的深度圖中的棋盤格對應的區(qū)域內手動隨意標注一塊或若干塊任意形狀區(qū)域，用戶只需要在深度圖平板區(qū)域內部隨意標注一塊或多塊任意形狀區(qū)域，而不像傳統方法中需要精確標記平板的四角，有效地降低了深度相機噪聲對算法的影響，并保證每張深度圖上標記的區(qū)域的像素數目總和不少于10個像素。計算在第i次拍攝的kinect的深度圖中，手動標注的任意區(qū)域內的第j個像素點的二維坐標的齊次坐標表示和該點的深度的乘積，記作????????????????????????????????????????????????。并將所有坐標的集合記作；

(4)、對于第i次拍攝得到的坐標集合，將其所有元素帶入空間平面方程：進行平面擬合。并計算得到的平面的法向量。對于集合中的所有元素，計算的均值，將中所有滿足的點濾除，將剩余的點作為新的坐標集合；

(5)、使用張正友的經典彩色攝像機標定算法計算高清彩色相機內參和每次拍攝中彩色相機和棋盤格的相對位置關系，使用旋轉矩陣和平移向量來表示第i次的拍攝的相對位置關系；

(6)、設3*3大小的混合參數和3維向量為未知量；將(4)、(5)兩步驟中得到的經過噪聲濾除步驟的點坐標和第i次拍攝的旋轉參數作為已知量，建立平面約束線性方程：；

(7)、根據點坐標對應的深度對(6)中的方程施加懲罰系數，深度值越小的懲罰系數越大，使深度較小的點對應的約束方程在方程組中具有較大的權重；

(8)、建立約束方程組，使用線性優(yōu)化框架求解：1)表示彩色相機和kinect之間的平移參數T；2)由深度相機內參和彩色相機與kinect之間相對旋轉組成的混合參數H；