[發明專利]一種移動視頻與地理場景的融合方法、系統及電子設備

有效

• 申請號: 202010224118.8
• 申請日: 2020-03-26
• 公開（公告）號: CN111582022B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 湯圣君;趙維淞;王偉璽;李曉明;郭仁忠
• 申請（專利權）人: 深圳大學
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/75;G06T17/05
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 徐凱凱;王永文

1.一種移動視頻與地理場景的融合方法，其特征在于，包括步驟：

根據無人機相機的位置信息確定場景融合區域的地形影像數據，以及從無人機采集的視頻圖像中選取視頻關鍵幀；

根據ASIFT算法提取視頻關鍵幀與地形影像的匹配點；

根據所述匹配點坐標和透視變換公式計算出視頻關鍵幀角點的像素坐標，并將所述像素坐標轉換為經緯度坐標；

根據視頻關鍵幀角點對應的經緯度坐標，利用內插法得到移動視頻融合到地形影像的三維場景模型；

所述根據ASIFT算法提取視頻關鍵幀與地形影像的匹配點的步驟包括：

從視頻關鍵幀的原始圖像中選取采樣參數，并使用采樣參數模擬不同經度角和緯度角的圖像，得到模擬圖像；

計算模擬圖像的特征；

根據所有模擬圖像的特征進行圖像匹配得到匹配點；所述匹配點為兩張圖像中具有相同特征的像素點；

使用梯度直方圖為每個特征點分配方向，把圖像的尺度、方向、位置、相機繞光軸的旋轉角以及上述求得的相機與圖像法線的傾斜角和旋轉角這六個參數用來描述特征向量，構建描述算子，生成特征描述符，比較描述符獲取匹配點；

所述根據ASIFT算法提取視頻關鍵幀與地形影像的匹配點的步驟之后，還包括：

使用RANSAC算法剔除錯誤的匹配點；

所述使用RANSAC算法剔除錯誤的匹配點的步驟包括：

從所述匹配點中抽取四對不共線的匹配點，計算出仿射變換矩陣的模型，以及計算所有匹配點與模型的投影誤差；

判斷所投影誤差是否大于預設閾值，若大于，則將該匹配點剔除。

2.根據權利要求1所述的移動視頻與地理場景的融合方法，其特征在于，所述根據無人機相機的位置信息確定場景融合區域的地形影像數據的步驟包括：

獲取所述無人機相機的初始位置定位場景融合區域的區域信息；

查找是否含有與所述區域信息對應的數字地表模型；

若否，則查找與所述區域信息對應的數字正射影像。

3.根據權利要求1所述的移動視頻與地理場景的融合方法，其特征在于，所述根據所述匹配點坐標和透視變換公式計算出視頻關鍵幀角點的像素坐標，并將所述像素坐標轉換為經緯度坐標的步驟包括：

根根匹配點坐標計算出視頻幀投影到地形影像中的透視變換矩陣；

根據所述透視變換矩陣反算出視頻關鍵幀四個角點在地形影像上對應的像素坐標；

利用坐標轉換公式將所述像素坐標轉換為經緯度坐標。

4.根據權利要求1所述的移動視頻與地理場景的融合方法，其特征在于，所述根據視頻關鍵幀角點對應的經緯度坐標，利用內插法得到移動視頻融合到地形影像的三維場景模型的步驟包括：

根據視頻關鍵幀的角點對應的經緯度坐標，通過內插法得到所有處于所述視頻關鍵幀中間的中間幀的角點坐標；

根據得到的各個中間幀的角點坐標和視頻關鍵幀的角點坐標，完成視頻與地理場景的融合，得到所述三維場景模型。