[發明專利]雙目攝像頭圖像深度信息獲取方法及裝置

有效

• 申請號: 201310229171.7
• 申請日: 2013-06-09
• 公開（公告）號: CN104240217B
• 公開（公告）日: 2017-08-11
• 發明（設計）人: 周宇
• 申請（專利權）人: 上海興芯微電子科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 上海翼勝專利商標事務所(普通合伙)31218
• 代理人: 孫佳胤

技術領域

本發明涉及信息采集和處理技術領域，特別是一種利用雙目攝像頭恢復深度信息，滿足合理硬件開銷，低功耗以及性能要求的雙目攝像頭圖像深度信息獲取方法及裝置。

背景技術

模擬人類雙目視覺感知景物深度是利用相對位置類似于雙眼的一對攝像頭所捕捉的圖像對來恢復景物的深度信息。它是計算機視覺以及人工智能的重要一環，為計算機/機器人利用可見光信息自動感知理解現實世界，并基于此表現出一定智能行為奠定了基礎。近年來，越來越多的研究人員致力于把此項技術應用于人機自然交互，計算機智能及仿生，自動控制，無人指導的影像信息處理等多個應用領域。

雖然已經對雙目攝像頭深度恢復進行了長足的研究，并且有些算法達到了相當高的精度，但是其距離應用還有很長的距離。這主要是因為目前已知的較好算法的計算量都非常巨大，以至于即使最強的CPU都無法實時處理（>=30幀/秒）較低分辨率輸入圖像。而利用CPU/GPU的并行計算能力需要巨大的功耗，并且其性能還受到內存讀寫帶寬的約束。這與目前電子產品輕便節能的大趨勢背道而馳。另一方面，從人類智能角度看，深度感知仍然屬于低級智能。仿生學告訴我們，這類工作應由類似于視覺中樞的專用硬件完成，而CPU/GPU 的運算能力應該主要被用于高級控制和邏輯推理方面，這是最節能高效的方式。

雙目攝像頭深度恢復的核心部分是計算左右攝像頭的視差，在數學上可歸為一類函數最小化問題，但是對其求解卻具有NP難度。除視差計算以外，進行雙目攝像頭深度恢復還需要對輸入圖像進行校正，計算匹配能量以及進行后處理。目前由于獲取深度信息的計算量較大，對這一復雜過程的硬件實現難度較大、成本非常高，無法滿足合理硬件開銷，低功耗以及性能要求。

發明內容

本發明的目的是為解決上述問題而提供一種雙目攝像頭圖像深度信息獲取方法及裝置，在滿足合理硬件開銷，低功耗以及性能要求的同時，進行雙目攝像頭深度恢復獲取圖像深度信息。

為了實現上述目的，本發明提供了雙目攝像頭圖像深度信息獲取方法，包括以下步驟： （1）根據預先獲得的雙目攝像頭校準信息對輸入的兩幅目標圖像數據進行圖像校正，以使所有所述目標圖像上相對應的像素點位于同一水平線上；（2）根據所述圖像校正的信息計算像素匹配能量，并根據像素點相鄰關系構造匹配對有向連接圖及設定連接圖中每邊權重；（3）采用行匹配方式利用圖論最大流算法求解所構造的連接圖的最大流，轉換為匹配結果并進行緩存；（4）對所緩存的匹配結果進行后處理，獲取后處理結果；（5）根據所述雙目攝像頭校準信息以及后處理結果計算所有所述目標圖像像素深度，獲取所有所述目標圖像深度信息。

進一步，步驟（1）之前進一步包括：預先計算每一組雙目攝像頭的內外參數，以及設定雙目攝像頭輸出的目標圖像的格式為RGB或YUV。

進一步，步驟（3）中所述行匹配方式中進一步包括對每一所述目標圖像多行像素點進行行匹配，對每一行匹配結果分別進行緩存。

進一步，所述行匹配方式中單行匹配包括以下步驟：（301）初始化匹配對有向連接圖；（302）采用圖論最大流算法對校正后的圖像對實時計算節點的連接強度，并根據連接強度并行擴展源節點和匯節點集；（303）在源節點和匯節點集中搜索增長路徑，計算剩余圖；（304）重復步驟301-303，直到無增長路徑為止，得到一最優匹配，并對匹配結果進行緩存。

進一步，所述行匹配方式中進一步包括對單行采取并行節點擴張，包括以下步驟：（311）初始化匹配對有向連接圖并進行緩存；（312）獲取步驟311所緩存的初始化數據，采用圖論最大流算法對校正后的圖像對實時計算多個節點中每一節點的連接強度，并根據相應連接強度并行擴展相應節點的源節點和匯節點集并進行緩存；（313）獲取步驟312所緩存的源節點和匯節點集數據，在源節點和匯節點集中搜索增長路徑，計算剩余圖；（314）重復步驟311-313，直到無增長路徑為止，得到一最優匹配，并對匹配結果進行緩存。