[發明專利]利用異構雙目相機進行視差計算的圖像處理方法

在審

• 申請號: 202010680676.5
• 申請日: 2020-07-15
• 公開（公告）號: CN111951339A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 王森;陳禹行;范圣印;李雪
• 申請（專利權）人: 蘇州易航遠智智能科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T3/40;G06T5/00;G06T7/10
• 代理公司: 北京庚致知識產權代理事務所(特殊普通合伙) 11807
• 代理人: 李偉波

1.一種利用異構雙目相機進行視差計算的圖像處理方法，其特征在于，分為異構相機離線處理和異構相機在線處理兩部分，包括：

由異構相機采集異構圖像；所述異構圖像包括廣視角圖像和窄視角圖像；

所述異構相機離線處理通過對所述廣視角圖像與窄視角圖像進行處理，將裁剪方案和標定結果輸出給所述異構相機在線處理部分使用；

所述異構相機在線處理包括：

分別獲取所述廣視角圖像和窄視角圖像的數據；

根據異構相機離線處理部分得到的裁剪方案處理所述廣視角圖像與窄視角圖像，使得所述廣視角圖像與所述窄視角圖像在感興趣區域ROI各物體比例保持一致；

對所述廣視角圖像采用深度學習超分辨率模型進行處理，增加圖像細節；

對所述廣視角圖像和窄視角圖像進行立體校正和立體匹配，生成初始視差圖。

2.根據權利要求1所述的利用異構雙目相機進行視差計算的圖像處理方法，其特征在于，

對所述廣視角圖像與窄視角圖像進行的處理包括如下步驟：

步驟1.1、異構相機的初始標定，獲取所述異構相機的內外參數；

步驟1.2、廣視角與窄視角圖像處理，輸出裁剪方案；

步驟1.3、異構相機圖像處理，在廣視角圖像中裁剪出矩形區域作為新的圖像并放縮至目標分辨率，生成新的標定圖像；

步驟1.4、異構相機二次標定，利用上述生成的新標定圖像重新立體標定，獲取預處理之后圖像之間的內外參；

步驟1.5、輸出標定結果。

3.根據權利要求1所述的利用異構雙目相機進行視差計算的圖像處理方法，其特征在于，

異構相機在線處理還包括如下步驟：

步驟2.1、異構圖像的輸入與預處理，輸入由異構相機采集的異構圖像的數據，在線對每一組輸入圖像對進行讀取與預處理；

步驟2.2、異構圖像處理，一方面讀取窄視角圖像；另一方面讀取廣視角圖像后采用深度學習超分辨率模型進行處理，獲取當前幀圖像對應的前后幀圖像，對相鄰幀圖像數據進行融合；

步驟2.3、多尺度細節增強技術，對處理后的左右目圖像進行細節增強，得到增強細節的異構相機左右目圖像；

步驟2.4、圖像亮度、色彩增強技術，增強上述異構相機左右目圖像的亮度和色彩信息；

步驟2.5、引導濾波，對所述左右目圖像進行平滑濾波；

步驟2.6、立體校正，對所述左右目圖像進行立體校正；

步驟2.7、立體匹配，生成初始視差圖。

4.根據權利要求2所述的利用異構雙目相機進行視差計算的圖像處理方法，其特征在于，

異構相機的初始標定環節首先獲取異構相機采集到的原始圖像對，針對窄視角圖像執行放縮處理。

5.根據權利要求4所述的利用異構雙目相機進行視差計算的圖像處理方法，其特征在于，

所述放縮處理為將所述窄視角圖像降采樣至分辨率為：

[scale_wide·res_{wide_u},scale_wide·res_{wide_v}]

其中scale_wide＝0.5，表示圖像放縮系數，res_{wide_u}與res_{wide_v}分別表示原廣視角圖像；所述廣視角圖像保持其分辨率不變。

6.根據權利要求5所述的利用異構雙目相機進行視差計算的圖像處理方法，其特征在于，

對所述異構相機分別執行離線的相機標定，獲取所述異構相機各自的內外參數。