[發明專利]對于多目同步攝像機拍攝的動態場景視頻的時空一致性深度恢復的方法

有效

• 申請號: 201210360976.0
• 申請日: 2012-09-25
• 公開（公告）號: CN103002309B
• 公開（公告）日: 2013-03-27
• 發明（設計）人: 章國鋒;鮑虎軍;姜翰青
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/02
• 分類號: H04N13/02
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

1.一種對于多目同步攝像機拍攝的動態場景視頻的時空一致性深度恢復的方法，其特征在于它的步驟如下：?

1)利用多視圖幾何方法結合DAISY特征向量，對于同一時刻的多目視頻幀進行立體匹配，得到多目視頻每一時刻的初始化深度圖；?

2)利用步驟1)得到的初始化深度圖對于多目視頻的每一幀圖像計算動態概率圖，并利用動態概率圖對每幀圖像進行動態像素點和靜態像素點的劃分；?

3)對于步驟2)所劃分的動態像素點和靜態像素點，利用不同的優化方法進行時空一致性的深度優化，對于靜態像素點，利用bundle?optimization方法結合多個相鄰時刻的顏色和幾何一致性約束進行優化；對于動態像素點，統計多個相鄰時刻的多目攝像機之間對應像素點的顏色和幾何一致性約束信息，由此對每一時刻動態深度值進行時空一致性優化。?

2.根據權利要求1中所述的一種對于多目同步攝像機拍攝的動態場景視頻的時空一致性深度恢復的方法，其特征在于所述的步驟1)為：?

(1)利用多視圖幾何方法結合DAISY特征描述符，對于同一時刻的多目視頻幀進行立體匹配，通過如下能量優化方程式求解每一時刻圖像幀的初始化深度圖：?

其中表示在t時刻的M個多目同步視頻幀，表示第m個視頻的t時刻的圖像幀，表示第m個視頻的t時刻的深度圖；是數據項，表示中像素點與根據計算的中其余圖像幀投影點之間的DAISY特征相似度，其計算公式如下：?

其中是用來估計對應像素的DAISY特征相似度的懲罰函數，表示像素點的DAISY特征描述符，是利用?投影至中的投影位置；是平滑項，表示相鄰像素x、y之間的深度平滑程度，其計算公式如下：?

其中平滑權重λ為0.008，深度差的截斷值η為3；?

(2)利用多目視頻幀的初始化深度在3D空間中的一致性來判斷每幀圖像中的每個像素點在同一時刻其余攝像機中是否可見，從而得到同一時刻多個攝像機兩兩之間的可視性圖；可視性圖的計算公式如下：?

其中表示在中是否可見，1表示可見，0表示不可見；δ_d是深度差異的閾值，是通過利用將投影至上計算得到的；利用所得到的可視性圖，對每個像素計算總體可視性如果在t時刻所有其余視頻幀中均不可見，則為0，否則為1；?

(3)結合所求得的可視性圖重新初始化每幀圖像的深度圖，DAISY特征相似度僅在可見的像素格點進行比較估計；并且，當的像素點的初始化深度值出現錯誤的情況下，利用Mean-shift技術對每幀圖像進行分割，對于每個分割區域，利用的像素點的深度來擬合參數為[a,b,c]的平面，利用擬合的平面重新定義的像素點的數據項：?

其中σ_d用來控制數據項對于深度值與擬合平面的距離差的敏感度，x和y是像素點的坐標值；利用重新定義的數據項進行能量優化，從而糾正被遮擋像素點的錯誤深度值?。?