[發明專利]多編組變角度車輛全景環視系統標定及拼接方法

有效

• 申請號: 201810074955.X
• 申請日: 2018-01-25
• 公開（公告）號: CN108263283B
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 曹心成;陳凱;劉百超
• 申請（專利權）人: 長沙立中汽車設計開發股份有限公司
• 主分類號: B60R1/00
• 分類號: B60R1/00;G06T3/00;G06T3/40;G06T7/80
• 代理公司: 11457 北京律譜知識產權代理事務所(普通合伙)
• 代理人: 孫紅穎

1.一種用于多編組變角度車輛的全景環視泊車輔助系統，包括魚眼攝像頭、鉸接盤角度傳感裝置和數據采集處理器，其特征在于：

全景環視泊車輔助系統利用安裝在每節車輛車廂上的兩顆或三顆方位視場角至少為180度的魚眼攝像頭采集的視頻畫面及鉸接盤角度傳感裝置采集的角度信息經數據采集處理器進行處理得到多編組變角度車輛周界區域的無縫拼接全景環視圖像；

車廂之間鉸接盤角度傳感裝置用于實時測量其鉸接的兩節車廂所呈角度信息，采用總線方式與所述數據采集處理器連接，將所測量的角度實時傳遞給數據采集處理器進行處理；

數據采集處理器包括魚眼圖像畸變校正單元、角點檢測單元、透視變換單元、單車廂圖像拼接單元、單車廂圖像融合單元、鉸接盤角度采集單元、多車廂圖像拼接單元、多車廂圖像融合單元；其中：

魚眼圖像畸變校正單元用于根據各魚眼攝像頭的內部結構和建立的畸變模型，標定得到攝像頭參數和畸變矯正參數，得到從魚眼圖像到畸變矯正圖像的映射關系；

角點檢測單元在各個魚眼攝像頭所抓取的圖像中，檢測標定布角點；透視變換單元根據測量場景得到的理想角點位置以及檢測得到的實際角點位置，將來自不同魚眼攝像頭的圖像，投影到同一坐標系下變成鳥瞰圖，建立由矯正圖到鳥瞰圖的映射關系；

單車廂圖像拼接單元，用于對來自相鄰的攝像頭轉換得到的鳥瞰圖中重疊區域進行特征點匹配，將單車廂所有攝像頭鳥瞰圖拼接成單車廂全景鳥瞰圖，最后生成單車廂全景鳥瞰圖與各攝像頭魚眼畸變圖的映射關系，生成并保存查找表；

單車廂圖像融合單元，用于在全景鳥瞰圖中相鄰攝像頭圖像接縫處，劃定過渡區域，采用加權融合的方法，消除拼接縫；

鉸接盤角度采集單元通過總線與鉸接盤角度傳感裝置連接，接收并解析車廂間相對角度信息；

多車廂圖像拼接單元將各車廂單獨鳥瞰圖以鉸接點為基準，進行裁剪和拼接，根據鉸接盤角度信息對相應車廂的單獨鳥瞰圖進行旋轉，同時對全局鳥瞰圖進行上下平移，以適應屏幕顯示需求；

多車廂圖像融合單元，對各攝像頭進行全局白平衡，對各裁剪過后的單獨車廂鳥瞰圖的各邊緣進行加權融合，以消除多車廂鳥瞰圖拼接的拼接縫。

2.利用權利要求1所述的用于多編組變角度車輛的全景環視泊車輔助系統進行標定和拼接的方法，其特征在于，具體包括以下步驟：

S1、魚眼圖像畸變校正單元用于根據各魚眼攝像頭的內部結構和建立的畸變模型，標定得到攝像頭參數和畸變矯正參數，得到從魚眼圖像到畸變矯正圖像的映射關系；所述的S1采用多項式模型作為攝像頭畸變模型，利用單幅包含棋盤格的魚眼圖像完成攝像頭標定；

S2、在各個魚眼攝像頭所抓取的圖像中，檢測標定布角點；所述的S2首先檢測位于魚眼攝像頭視野中心的棋盤格陣列標定布中的角點，然后根據角點位置劃定用于檢測視野兩側黑色大方格的感興趣區域，在感興趣區域中進行四邊形擬合，通過限制四邊形位置、四邊形面積、四邊形形狀、相鄰邊長比、對角線比排除干擾四邊形輪廓，得到黑色大方格輪廓以及四個頂點坐標，在頂點坐標周圍使用亞像素角點檢測方法，確定黑色大方格頂點位置；

S3、根據S2檢測得到的實際角點位置，結合測量場景得到的理想角點位置，將來自不同魚眼攝像頭的圖像，投影到同一坐標系下變成鳥瞰圖，建立由矯正圖到鳥瞰圖的映射關系；

S4、單車廂圖像拼接單元對來自相鄰的攝像頭轉換得到的鳥瞰圖中重疊區域進行特征點匹配，將單車廂所有攝像頭鳥瞰圖首次拼接成單車廂全景鳥瞰圖，最后生成單車廂全景鳥瞰圖與各攝像頭魚眼畸變圖的映射關系，查找表形式保存在存儲單元中；

S5、得到查找表后，通過讀取查表方式從存儲單元中獲得魚眼攝像頭采集的原始視頻畫面像素點與單車廂全景鳥瞰圖像素點的映射關系信息，將所有魚眼攝像頭采集的視頻畫面實時映射成單車廂全景鳥瞰圖；

S6、在全景鳥瞰圖中相鄰攝像頭圖像接縫處，劃定過渡區域，采用加權融合的方法，消除拼接縫；

S7、將各車廂單獨鳥瞰圖以鉸接點為基準進行裁剪，然后拼接為靜態多車廂全景鳥瞰圖；

S8、通過總線接收鉸接盤角度傳感裝置信息，解析得到車廂間相對角度信息，根據鉸接盤角度信息對相應車廂的單獨鳥瞰圖進行旋轉，同時對全局鳥瞰圖進行上下平移，以適應屏幕顯示需求；前車廂依據前-中鉸接盤角度信息繞前-中鉸接點旋轉，后車廂依據后-中鉸接盤角度信息繞后-中鉸接點旋轉；當前車廂或后車廂超出顯示范圍時，將全景拼接圖整體向轉向相反的方向平移，當平移后中間車廂超出顯示范圍時，將全景拼接圖像整體進行收縮；

S9、對所有攝像頭抓取得到的圖像進行全局白平衡，消除光照影響；對各裁剪過后的單獨車廂鳥瞰圖的各邊緣進行加權融合，以消除多車廂鳥瞰圖拼接的拼接縫。

3.根據權利要求2所述的用于多編組變角度車輛的全景環視泊車輔助系統進行標定和拼接的方法，其特征在于，所述S7中，前車廂、后車廂鳥瞰圖不剪裁，中間車廂鳥瞰圖以在車身寬度方向不剪裁，讓前車廂鳥瞰圖中與中車廂鳥瞰圖中的前-中車廂鉸接點位置重合，讓后車廂鳥瞰圖中與中車廂鳥瞰圖中的后-中車廂鉸接點位置重合，拼接為靜態多車廂全景鳥瞰圖。