[發明專利]一種環視圖像拼接方法、設備及介質

在審

• 申請號: 202010879615.1
• 申請日: 2020-08-27
• 公開（公告）號: CN112116068A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 姜凱;高巖;李朋
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06T3/40;G06T7/12;G06T7/136;G06K9/62;G06K9/00
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 董延麗

本申請公開了一種環視圖像拼接方法、設備及介質，方法包括：確定攝像裝置采集到的多幀圖像；針對多幀圖像中的每幀圖像，通過預先訓練的識別模型，在該幀圖像中提取出相應目標的目標特征；通過目標特征對相應目標進行標定，將標定結果反饋至該幀圖像；根據攜帶有標定結果的每幀圖像，將多幀圖像進行環視拼接，得到拼接圖像。本申請中通過預先訓練的識別模型進行目標的標定，來得到相應目標的位置，進而通過相應目標的位置來進行環視圖像的拼接。由此能夠在不考慮亮度的前提下，完成環視圖像的拼接，解決了在采用光流法進行圖像視頻時，需要目標亮度恒定不變的原則，減少了對于環視圖像拼接的限制。

技術領域

本申請涉及圖像處理領域，具體涉及一種環視圖像拼接方法、設備及介質。

背景技術

環視圖像拼接，指的是對攝像裝置采集到的一系列圖像進行拼接，最終拼接得到一張圖像的過程。

而現有技術中，在對圖像進行拼接時，通常采用的方法為光流法。光流(opticalflow)是空間運動物體在觀察成像平面上的像素運動的瞬時速度。光流法是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關系，從而計算出相鄰幀之間物體的運動信息的一種方法。通常將二維圖像平面特定坐標點上的灰度瞬時變化率定義為光流矢量。

但光流法有個亮度恒定不變的假設前提，即同一目標在不同幀間運動時，其亮度不會發生改變。這是基本光流法的假定，所有光流法變種都必須滿足，用于得到光流法基本方程。這就對使用光流法來進行環視圖像拼接造成了很大程度的限定。

發明內容

為了解決上述問題，本申請提出了一種環視圖像拼接方法，包括：確定攝像裝置采集到的多幀圖像；針對所述多幀圖像中的每幀圖像，通過預先訓練的識別模型，在該幀圖像中提取出相應目標的目標特征；通過所述目標特征對所述相應目標進行標定，將標定結果反饋至該幀圖像；根據攜帶有所述標定結果的每幀圖像，將所述多幀圖像進行環視拼接，得到拼接圖像。

在一個示例中，確定攝像裝置采集到的多幀圖像，包括：確定多個攝像裝置在同一時間點采集到的多幀圖像，所述多個攝像裝置的采集范圍不同。

在一個示例中，確定攝像裝置采集到的多幀圖像，包括：確定單個攝像裝置在不同時間點采集到的多幀圖像，所述單個攝像裝置在不同時間點的采集范圍不同。

在一個示例中，通過所述目標特征對所述相應目標進行標定，將標定結果反饋至該幀圖像之后，所述方法還包括：根據該幀圖像對應的標定結果，以及所述攝像裝置的姿態和采集范圍，對下一幀圖像中所述相應目標進行估算；根據估算結果以及所述識別模型，在所述下一幀圖像中提取出相應目標的目標特征；通過所述目標特征對所述相應目標進行標定，將標定結果反饋至所述下一幀圖像，并將所述下一幀圖像的標定結果用于下一輪的估算過程。

在一個示例中，所述識別模型包括：3層采樣層、2層全連接層，每層采樣層包括1個卷積層和1個池化層；所述采樣層用于：對輸入圖像進行邊緣分割；所述全連接層用于：輸出像素分類，并將像素坐標標定回原圖像。

在一個示例中，根據攜帶有所述標定結果的每幀圖像，將所述多幀圖像進行環視拼接，得到拼接圖像，包括：根據攜帶有所述標定結果的每幀圖像，確定每幀圖像的稀疏點云；基于所述稀疏點云，得到每幀圖像的稠密點云；根據所述每幀圖像的稠密點云進行疊加去重，以得到拼接圖像。

在一個示例中，根據所述每幀圖像的稠密點云進行疊加去重之前，所述方法還包括:通過指定幀圖像的稠密點云進行矯正，所述指定幀圖像為從第一幀圖像開始的指定數量幀數的圖像。

在一個示例中，所述攝像裝置應用在指定場景中，所述指定場景指的是，所述攝像裝置在所述指定場景采集到的圖像中，最高亮度與最低亮度之間的差值大于預設閾值的場景。