[發明專利]一種船舶實時視頻全景拼接方法及系統

有效

• 申請號: 202110859665.8
• 申請日: 2021-07-28
• 公開（公告）號: CN113301274B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 劉燁;文婷;楊凌波;史海濤;段澤;洪偉宏
• 申請（專利權）人: 北京海蘭信數據科技股份有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N7/18;G06T7/80;G06T5/00
• 代理公司: 北京君泊知識產權代理有限公司 11496
• 代理人: 周倩

本發明實施例公開了一種船舶實時視頻全景拼接方法，包括：獲取多路實時視頻圖像并進行校準；通過全景像素映射矩陣對校準后的多路實時視頻圖像進行變換，并進行全景拼接融合，得到第一全景拼接圖像；檢測第一全景拼接圖像的拼接效果，當達標時，對第一全景拼接圖像進行濾波處理，平滑相鄰兩幀融合圖像之間的亮度，得到第二全景拼接圖像并輸出，反之重新標定獲得全景像素映射矩陣，對校準后的多路實時視頻圖像進行變換，并進行全景拼接融合。本發明實施例還公開了一種船舶實時視頻全景拼接系統。本發明充分利用內河船舶上已經安裝的多個攝像機，可節省設備資源，并檢測拼接效果，可自動更新拼接參數，提高拼接圖像的精度。

技術領域

本發明涉及船舶技術領域，具體而言，涉及一種船舶實時視頻全景拼接方法及系統。

背景技術

內河船舶通常會安裝多個攝像機設備用以監控船上、船周圍的行船環境。在船舶領域中，大多是通過船舶各個監控攝像機設備相互獨立輸出畫面，探查船周各方位情況，并未采用全景拼接技術，最多只能涉及360度范圍的監控。通過將多個畫面進行全景拼接可以更加直觀的觀察周圍環境。現有的全景拼接攝像機多為一體機，而許多內河船舶上已經安裝有部分監控攝像機設備，如果采用一體機直接替換已經安裝有部分監控攝像機設備，會造成設備資源浪費和損失。另外，通過一體機直接獲取全景拼接圖像，并沒有相應的拼接效果檢測，僅憑人眼主觀判斷，精度不夠，且無法實時檢測由于船舶晃動等外界因素影響導致的攝像機相對位置偏移，導致拼接圖像質量不高。

發明內容

為解決上述問題，本發明的目的在于提供一種船舶實時視頻全景拼接方法及系統，充分利用內河船舶上已經安裝的多個攝像機，可以節省設備資源，并對拼接效果進行了檢測，可自動更新拼接參數，提高拼接圖像的精度。

本發明實施例提供了一種船舶實時視頻全景拼接方法，所述方法包括：

獲取所述船舶上多個攝像機實時采集的多路實時視頻圖像，并使用時間戳信息對所述多路視頻圖像進行校準；

通過預先標定得到的全景像素映射矩陣對校準后的多路實時視頻圖像進行變換，并對變換后的多路實時視頻圖像進行全景拼接融合，得到第一全景拼接圖像；

對所述第一全景拼接圖像的拼接效果進行檢測，當拼接效果達標時，對所述第一全景拼接圖像進行濾波處理，平滑相鄰兩幀融合圖像之間的亮度，得到第二全景拼接圖像并輸出，反之重新標定獲得全景像素映射矩陣，對校準后的多路實時視頻圖像進行變換，并對變換后的多路實時視頻圖像進行全景拼接融合。

作為本發明進一步的改進，所述全景像素映射矩陣通過對多路視頻圖像標定得到，

所述對多路視頻圖像標定，包括：

根據全景視場角度調整所述多個攝像機的相對位置，使所述多個攝像機同時采集多路視頻圖像；

對所述多路視頻圖像進行畸變矯正和圖像投影，得到多路投影圖像；

對所述多路投影圖像進行特征點檢測、圖像匹配和全景拼接融合，得到標定全景拼接圖像和所述全景像素映射矩陣。

作為本發明進一步的改進，所述多個攝像機的畸變矯正參數通過拍攝所述多個攝像機的標定棋盤圖求解得到，

所述對所述多路視頻圖像進行畸變矯正和圖像投影，得到多路投影圖像，包括：

通過所述多個攝像機的畸變矯正參數對所述多路視頻圖像分別進行畸變矯正；

對校正后的多路視頻圖像進行平面投影和/或柱面投影，得到所述多路投影圖像，其中，所述柱面投影是將視頻圖像投影至圓柱上，以獲得在柱面上的成像。

作為本發明進一步的改進，所述對所述多路投影圖像進行特征點檢測、圖像匹配和全景拼接融合，得到標定全景拼接圖像和所述全景像素映射矩陣，包括：

對相鄰兩路攝像機對應的兩幅投影圖像進行特征提??；