[發(fā)明專利]一種基于圖像的深度計算方法

有效

• 申請?zhí)枺?/td>: 202010089867.4
• 申請日: 2020-02-13
• 公開（公告）號: CN111260713B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設計）人: 紀剛;楊豐拓;安帥;朱慧
• 申請（專利權）人: 青島聯(lián)合創(chuàng)智科技有限公司
• 主分類號: G06T7/579
• 分類號: G06T7/579;G06T5/00
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 劉娜

1.一種基于圖像的深度計算方法，其特征在于，包括如下步驟：

步驟一，使用視覺里程計獲取圖像位姿對；

步驟二，對當前幀進行四叉樹劃分；

步驟三，計算圖像的匹配損失體；

步驟四，提取圖像四叉樹節(jié)點像素對應的損失構建次級匹配損失體，對次級匹配損失體執(zhí)行動態(tài)置信傳播算法進行優(yōu)化；

步驟五，將優(yōu)化后的匹配損失體放回原始匹配損失體中，在并行計算平臺上對每個像素使用贏家通吃策略提取最小損失及其對應的采樣深度值；

步驟六，去除噪聲深度并平滑深度圖；

所述步驟三的具體方法如下：

(1)計算當前幀坐標系與每個測量幀坐標系之間的相對位姿變換：

設置待計算深度圖像為當前幀，設置時間維度上當前幀之前的m幅圖像為測量幀，分別計算當前幀坐標系與各測量幀坐標系之間的相對位姿變換T_mci：

T_mci＝T_mwi×T_wc

其中，T_wc為當前幀坐標系相對于世界坐標系的位姿變換，T_mwi為世界坐標系到第i幅測量幀坐標系的位姿變換；

(2)并行計算當前幀每個像素在N個采樣深度下，投影到第i幅測量幀上的像素坐標：

讀取視覺里程計輸出的最大深度和最小深度，設置為深度計算的最大深度和最小深度；計算最大逆深度和最小逆深度，在逆深度空間均勻采樣，取N個采樣點，則每個采樣點對應的采樣深度如下：

其中，z_j為第j次采樣對應的采樣深度，z_min為視覺里程計輸出的最小深度，z_max為視覺里程計輸出的最大深度；

當前幀像素點I_p在當前幀坐標系采樣深度z_j對應的空間坐標P_pj為：

P_pj＝K^-1×I_p×z_j

其中，K為已知的單目相機的內(nèi)參矩陣，I_p為圖像上每個像素p的齊次坐標，均為已知；

當前幀像素點I_p在當采樣深度z_j時投影到第i幅測量幀上的像素坐標I_qi(j)為：

其中，為空間坐標P_pj在測量幀坐標系下的深度值；

(3)并行計算當前幀上每個像素p在N個采樣深度下與投影像素q的灰度值的絕對差，計算投影到多幅測量幀的絕對差并取平均值：

其中，C為成功投影次數(shù)，m為測量幀的總數(shù)；

(4)使用加權自適應窗口聚合匹配損失，在固定大小的窗口w×w內(nèi)依窗口內(nèi)投影像素q與中心像素p的曼哈頓距離md(p,q)和灰度值絕對差進行加權求和匹配損失：

其中，σ₁為自定義距離閾值，σ₂為自定義灰度閾值，T[]為條件函數(shù)，[]內(nèi)的條件滿足則為1，不滿足則為0；

所述步驟六的具體方法如下：

使用動態(tài)置信傳播方法計算出的深度來約束局部方法計算出的深度值，使用GPU并行處理每個像素，對非四叉樹節(jié)點的深度降噪處理；

每個像素p的深度為d_p，像素p所在的四叉樹節(jié)點處的深度為d_p0，像素p所在的四叉樹塊的尺寸大小為Size，計算提高信噪比后的深度

則像素p的新深度為

最后，使用邊緣保留平滑方法對降噪后的深度圖進行平滑處理。

2.根據(jù)權利要求1所述的一種基于圖像的深度計算方法，其特征在于，所述步驟一的具體方法如下：

使用單目相機拍攝圖像，運動的單目相機兩兩幀之間構成對極幾何關系，在兩幅圖像上提取ORB特征點和描述子，并進行特征匹配；對匹配好的特征點利用對極幾何約束使用最小化重投影誤差求解相機運動，獲取單通道灰度圖和圖像的位姿，以及最大深度和最小深度。