[發明專利]一種基于實景模型的單目視頻中物體位置信息提取方法

在審

• 申請號: 202111451702.8
• 申請日: 2021-12-01
• 公開（公告）號: CN114241126A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 吳向陽;周詩洋
• 申請（專利權）人: 東南大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V20/10;G06V20/40;G06V40/10;G06V10/25;G06V10/762;G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 施昊

本發明公開了一種基于實景模型的單目視頻中物體位置信息提取方法，包括如下步驟：（1）監控視頻區域三維實景模型的構建；（2）監控視頻向實景模型上投影；（3）利用目標檢測算法對投射到模型上的視頻幀圖像進行檢測；（4）利用目標檢測結果獲取其在實景模型中的地理位置。本發明基于三維實景模型、Cesium三維引擎、目標檢測等技術實現單目監控視頻在實景模型中的立體化、透視化、可量測化，可對監控視頻中物體位置信息進行提取，方便對視頻監控場合的管控，進一步發揮視頻監控的價值。

技術領域

本發明涉及一種基于實景模型的單目視頻中物體位置信息提取技術，屬于測繪技術領域和計算機技術領域。

背景技術

獲取的監控視頻中包含著豐富的信息，如視頻中物體的位置和種類、物體與周圍環境之間的關系等。然而通過單一的監控視頻無法感知監控現場的真實情況，對監控視頻中位置等信息的自動提取將會進一步加深對現場情況的了解，可便于管理人員快速定位物體并進行管理，提高視頻監控的應用價值，而現在尚無較好的手段做到這點。同時，針對單目攝像頭拍攝的監控視頻進行物體位置信息提取研究的很少，但隨著計算機技術的飛速發展，目標檢測等新技術的出現，多種技術相結合可為上述問題的解決提供新思路。目標檢測是一種與計算機視覺和圖像處理相關的計算機技術，用于檢測數字圖像和視頻中某一類語義對象（如人、建筑物或汽車）的實例。結合新的技術手段對監控視頻中的位置信息進行提取具有較高的應用價值。

發明內容

為了解決上述背景技術提到的技術問題，本發明提出了一種基于實景模型的單目視頻中物體位置信息提取方法。

為了實現上述技術目的，本發明的技術方案為：

一種基于實景模型的單目視頻中物體位置信息提取方法，包括以下步驟：

（1）通過監控獲取視頻區域的三維數據，根據獲取的三維數據進行三維實景模型的構建；（2）利用監控的實時視頻獲取監控攝像頭的姿態參數，再將監控視頻投射到實景模型上；（3）對投射到實景模型上的視頻進行圖像截取，利用構建的小目標檢測網絡對圖像進行目標檢測，輸出檢測出的目標種類信息及在圖片上的位置信息；

（4）通過目標檢測結果的像素坐標獲取其在實景模型中的地理位置轉化成地理坐標。

優選地，步驟（1）中所述三維數據具體為在測區中選取控制點，再利用無人機對測區進行航攝得到傾斜攝影測量，再通過Context Capture進行三維實景模型的構建，所述三維實景模型精度要求為1∶500且經過精細化處理。

優選地，步驟（1）中三維實景模型的構建具體為，首先將多種源數據、分辨率和任意數據量的照片進行同名點選取，然后經過多視匹配、三角網構建得到三角網模型，再經過紋理自動映射制成監控區域的三維實景模型。

優選地，步驟（2）具體利用H5Stream將實時監控視頻接入到基于Cesium構建的Web系統中來獲取監控攝像頭姿態參數，對第一人稱視角下的監控區域三維實景模型在攝像頭的位置下進行各方位截圖，記錄其在Cesium中的姿態信息，利用圖片匹配算法對視頻流的幀圖像與截圖進行匹配找到最相似的一張，根據截圖獲取到視頻投射的粗略姿態信息，再將監控視頻以視頻紋理的形式投射到三維實景模型的表面上并進行手動微調。

優選地，步驟（3）使用YOLOv3通用目標檢測算法并對其改進實現對監控圖像上的小目標檢測，使用DBSCAN+K-Means聚類算法對先驗框進行聚類優化并將分辨率為13×13、26×26和52×52的三個特征層修改為兩個較大尺度的分辨率26×26和52×52的特征層。

優選地，步驟（4）利用Cesium接口對像素坐標進行兩次轉換：像素坐標向直角坐標的轉換，直角坐標向地理坐標的轉換，最終獲取物體在真實世界中的位置信息。

采用上述技術方案帶來的有益效果：