[發明專利]一種移動視頻與地理場景的融合方法、系統及電子設備

有效

• 申請號: 202010224118.8
• 申請日: 2020-03-26
• 公開（公告）號: CN111582022B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 湯圣君;趙維淞;王偉璽;李曉明;郭仁忠
• 申請（專利權）人: 深圳大學
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/75;G06T17/05
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 徐凱凱;王永文

本發明提供了一種移動視頻與地理場景的融合方法、系統及電子設備，根據無人機相機的位置信息確定出的地形影像數據中選取視頻關鍵幀；提取視頻關鍵幀與地形影像的匹配點；根據所述匹配點坐標和透視變換公式計算出視頻關鍵幀角點的像素坐標，并將所述像素坐標轉換為經緯度坐標；根據視頻關鍵幀的角點對應的經緯度坐標，利用內插法得到移動視頻融合到地形影像的三維場景模型。本方法以無人機視頻和地理場景圖像作為原始數據，并且根據ASIFT算法得到關鍵幀與地理圖像的高精度匹配點，利用該匹配點實現基于無人機視頻得到對應視頻區域的動態場景模型動態場景的融合，具有較高的精度和實用性。

技術領域

本發明涉及虛擬現實技術領域，尤其涉及的是一種移動視頻與地理場景的融合方法、系統及電子設備。

背景技術

隨著視頻技術的不斷發展，在不同領域的應用越來越多，比如應急災害等等，在發生地震，塌方、泥石流等自然災害的時候，由于無人機具有成本低、機動性強、安全風險系數小等優點被廣泛應用在地形測繪、傾斜攝影、偵測現場等領域。然而目前常規監控系統，由于存在海量視頻分散、孤立、視角不完整、位置不明確等問題，尤其是移動視頻與地理場景融合、面向安防視頻監控以及應急減災等領域正是從解決此現狀問題的角度而衍生。

視頻地理場景融合可以更直觀、更明確的管理攝像機和掌控視頻動態，但是目前還難以將無人機視頻與實際的地理場景聯系起來，具體位置不明確、視角不完整等問題，因此無法提供更為準確的動態畫面。

因此，現有技術有待于進一步的改進。

發明內容

鑒于上述現有技術中的不足之處，本發明的目的在于為用戶提供一種移動視頻與地理場景的融合方法、系統及電子設備，克服現有技術中的無人機視頻不能實現與地理場景精確融合的缺陷。

本發明解決技術問題所采用的技術方案如下：

第一方面，本實施例公開了一種移動視頻與地理場景的融合方法，其中，包括步驟：

根據無人機相機的位置信息確定場景融合區域的地形影像數據，以及從無人機采集的視頻圖像中選取視頻關鍵幀；

根據ASIFT算法提取視頻關鍵幀與地形影像的匹配點；

根據所述匹配點坐標和透視變換公式計算出視頻關鍵幀角點的像素坐標，并將所述像素坐標轉換為經緯度坐標；

根據視頻關鍵幀角點對應的經緯度坐標，利用內插法得到移動視頻融合到地形影像的三維場景模型。

可選的，所述根據無人機相機的位置信息確定場景融合區域的地形影像數據的步驟包括：

獲取所述無人機相機的初始位置定位場景融合區域的區域信息；

查找是否含有與所述區域信息對應的數字地表模型；

若否，則查找與所述區域信息對應的數字正射影像。

可選的，所述根據ASIFT算法提取視頻關鍵幀與地形影像的匹配點的步驟包括：

從視頻關鍵幀的原始圖像中選取采樣參數，并使用采樣參數模擬不同經度角和緯度角的圖像，得到模擬圖像；

計算模擬圖像的特征；

根據所有模擬圖像的特征進行圖像匹配。

可選的，所述根據ASIFT算法提取視頻關鍵幀與地形影像的匹配點的步驟之后，還包括：

使用RANSAC算法剔除錯誤的匹配點。

可選的，所述使用RANSAC算法剔除錯誤的匹配點的步驟包括：

從所述匹配點中抽取四對不共線的匹配點，計算出仿射變換矩陣的模型，以及計算所有匹配點與模型的投影誤差；