[發明專利]由遮擋關系恢復深度次序的方法

在審

• 申請號: 201610024311.0
• 申請日: 2016-01-14
• 公開（公告）號: CN105701823A
• 公開（公告）日: 2016-06-22
• 發明（設計）人: 馬健翔;周瑜;明安龍
• 申請（專利權）人: 無錫北郵感知技術產業研究院有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/20
• 代理公司: 北京中恒高博知識產權代理有限公司 11249
• 代理人: 宋敏

1.一種由遮擋關系恢復深度次序的方法，其特征在于，包括：

步驟1、背景場景分割，利用靜態攝像機得到背景圖像，再利用Meanshift分割方法對背 景圖像進行過分割，得到超像素塊小區域形成的背景場景分割圖；

步驟2、運動物體分割，基于上述背景場景分割圖，一幀幀地去更新場景的超像素圖像， 即在出現運動物體的背景場景中通過背景刪減方法確定運動物體對應的超像素區域，得到 運動物體在背景場景中的分割圖；

步驟3、構造區域級別的馬爾科夫隨機場，基于上述得到的運動物體在背景場景中的分 割圖，把分割圖中每一區域作為一個節點，若兩個區域相鄰即有邊緣，則把對應兩節點相連 接，對于靜態攝像機拍攝的每一幀圖像上的運動物體，也作為一個節點；同時，添加時間邊 緣來連接相鄰幀上的運動物體的節點，從而構造出具有區域遮擋關系的時空圖，該時空圖 既含有空間信息，又包含了運動物體在不同時間下的信息；

步驟4、基于上述時空圖進行成對區域的深度次序推理，從而得到遮擋矩陣；

步驟5、依據上述遮擋矩陣進行全局深度次序推理，從而得出背景圖像的深度次序關 系。

2.根據權利要求1所述的由遮擋關系恢復深度次序的方法，其特征在于，步驟2中在出 現運動物體的背景場景中通過背景刪減方法確定運動物體對應的超像素區域具體為：

首先對背景的場景表達進行建模，其中每一像素都服從以其在所有幀圖像中的平均顏 色值為中心的高斯分布Ap，給定Ap后，對于每幀圖像，估計出該像素屬于背景的概率，若概 率大于90％，則認為是背景像素；若概率低于10％則認為是運動物體的像素。

3.根據權利要求1所述的由遮擋關系恢復深度次序的方法，其特征在于，所述步驟4基 于上述時空圖進行成對區域的深度次序推理具體為：

基于場景的超像素表達，建立一個遮擋矩陣O用于判斷一對區域i、j的遮擋關系，其中 Oi,j∈{+1,-1,0}，分別對應區域i遮擋區域j、區域i被區域j遮擋以及無遮擋線索這三種情 況，并通過兩種線索去推斷區域的深度次序，從而逐幀更新遮擋矩陣O；

首先根據運動遮擋線索去判斷運動物體和背景區域的深度次序，根據運動物體分割， 得到運動物體的邊界像素和背景區域的邊界像素，從而推斷運動物體是在此背景區域的前 面還是后面，然后更新對應位置的遮擋矩陣O；

然后，對于場景中的未更新的空間相鄰的區域利用單目線索進行區域遮擋判斷，并更 新對應位置的遮擋矩陣O。

4.根據權利要求3所述的由遮擋關系恢復深度次序的方法，其特征在于，所述步驟5依 據上述遮擋矩陣進行全局深度次序推理具體為：

對于背景場景中的每一個超像素區域分配一個深度標簽{1,2,...,L}，其中L為預設定 的，L數字越大表明離攝像頭越遠；因此多標簽的分割問題就轉化成基于時空圖模型的能量 最小化問題，時空圖中包含n+F個節點，n對應背景場景的n個超像素區域節點，F對應經過視 頻的F幀圖像下的每一個運動物體節點，從而目標就是求得一個深度標記的排列X＝ {X₁,...,X_n+F}；

定義一個基于MRF時空圖的能量函數如下：

E(X)=Σi∈1,...,n+FEi(Xi)+Σ(i,j)∈NSEijS(Xi,Xj)+Σ(i,j)∈NTEijT(Xi,Xj);]]>

其中，E_i表示分配給某一區域節點深度次序標簽的代價，Xi∈X，Xj∈X；

為空間成對項，N_S表示背景場景中互相作用的區域，

其中，

EijS,f(Xi,Xj)=-log(cijf×1+Oi,jf+ϵ2)∀Xi<XjγXi=Xj-log(cijf×1+Oj,if+ϵ2)∀Xi>Xj]]>

EijS(Xi,Xj)=Σf∈F(EijS,f(Xi,Xj)exp(-δi,jf))]]>

是第f幀圖像的成對空間項，是第f幀下的區域i和j的遮擋關系，對應遮擋 關系的置信度，ε和γ為已知系數，表示對每一幀f利用相關的區域特征判斷區域i、j共 面的可能性；

為時間成對項，N_T代表運動物體的時間邊緣。