[發明專利]全景圖像拼接方法、設備及存儲介質和顯示方法及系統

在審

• 申請號: 202011207314.0
• 申請日: 2020-11-03
• 公開（公告）號: CN112348741A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 葉德焰;陳從華;謝超;陳海沯
• 申請（專利權）人: 明見（廈門）技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/60;G06T7/11
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 何家富

本發明涉及一種全景圖像拼接方法、設備及存儲介質和顯示方法及系統，在拼接方法中，通過全景環視系統已裝配的左、右側攝像頭，采集車輛行駛過程中左、右側路面場景圖像，通過計算機視覺和圖像處理技術，實時分析提取左、右側路面圖像中車道線特征信息，擬合左側和右側各拼接塊圖像的車道線，根據同一側車道線所呈的夾角旋轉拼接圖像使其能夠擬合成為一條曲線，根據旋轉的角度對拼接塊圖像進行校正后，進行全景圖像的拼接。本發明具有實現簡單，圖像拼接縫隙精確度高，具有前瞻性，實時性高，實用性強，穩定可靠，無需額外增加配件，具有良好的應用價值和經濟效益的有益效果。

技術領域

本發明涉及車輛全景圖像拼接領域，尤其涉及一種全景圖像拼接方法、設備及存儲介質和顯示方法及系統。

背景技術

全景環視系統，包括終端主機、攝像頭和顯示屏組成，主機獲取汽車上前后左右四周的各個方位攝像頭實時畫面圖像，通過圖像畸變矯正、圖像拼接、圖像融合、圖像視角變換等一系列軟件算法處理技術，合成一幅2D/3D全景圖像輸出給車內中控顯示屏，全景環視圖像視角可根據汽車行駛狀態自動切換，為駕駛員呈現一個真實的車輛行駛四周環境狀況，駕駛員能夠更直觀察看視線盲區，提高駕駛的安全性。

傳統全景環視系統采用4路攝像頭或更多路攝像頭之間相對位置固定拼接技術，即攝像頭在安裝到車上之后攝像頭之間相對位置不會隨著車輛行駛而改變，只能適用于乘用車或者車輛形態結構固定車型，無法適用于如鉸接公交車、牽引車+掛車組合等形態動態變化的鉸接車，因為鉸接車車輛在轉彎時，前后兩節車廂會動態折疊。

傳統解決方案采用加裝鉸接盤角度傳感器來檢測前后兩節車廂之間轉角值，通過轉角值來實現圖像拼接縫補償，如公開號為“CN202010207381.6”的發明專利專利“一種用于鉸接工程車輛變角度全景環視系統的實現方法”。

傳統圖像拼接方法，采用硬件傳感器方式，拼接效果不佳，存在諸多缺點：一是采用額外加裝鉸接盤角度傳感器方式，結構復雜，易損壞，增加車輛成本；二是鉸接盤角度傳感器精度不高，隨著車輛使用年限增加，磨損，精度逐漸降低，導致圖像拼接效果差。

發明內容

為了解決上述問題，本發明提出了一種全景圖像拼接方法、設備及存儲介質和顯示方法及系統。

具體方案如下：

一種全景圖像拼接方法，包括以下步驟：

S1：通過設置于鉸接車中的牽引車上的左攝像頭和右攝像頭及掛車上的左攝像頭和右攝像頭同步采集車輛外部圖像，并將采集的圖像分別進行俯視變換和按照拼接區域要求裁剪處理后，生成左前拼接塊圖像、左后拼接塊圖像、右前拼接塊圖像和右后拼接塊圖像，提取各圖像中的車道線特征信息；初始化設定旋轉角度為0；

S2：根據提取的車道線特征信息，構建車輛坐標系，并在車輛坐標系下分別對左前拼接塊圖像、左后拼接塊圖像、右前拼接塊圖像和右后拼接塊圖像中的車道線進行擬合；

S3：判斷左前拼接塊圖像與左后拼接塊圖像中的車道線或右前拼接塊圖像與右后拼接塊圖像中的車道線是否能夠擬合成為一條曲線，如果是，進入S5；否則，進入S4；

S4：在車輛坐標系下根據左前拼接塊圖像中的車道線與左后拼接塊圖像中的車道線所呈的左側夾角，或計算右前拼接塊圖像中的車道線與右后拼接塊圖像中的車道線所呈的右側夾角，根據左側夾角或右側夾角的大小和方向旋轉左后拼接塊圖像和右后拼接塊圖像，并更新旋轉角度為旋轉時對應的角度，返回S3；

S5：根據鉸接車直行狀態下的常規拼接參數和旋轉角度計算旋轉向量和旋轉角，根據旋轉角校正左后拼接塊圖像、右后拼接塊圖像、設置于掛車上的后攝像頭采集并處理生成的后拼接塊圖像和掛車車模在車輛坐標系下的位置，并結合左前拼接塊圖像、右前拼接塊圖像和設置于牽引車上的前攝像頭采集并處理生成的前拼接塊圖像進行圖像拼接，拼接為全景圖像。