[發明專利]一種基于實景模型的單目視頻中物體位置信息提取方法

在審

• 申請號: 202111451702.8
• 申請日: 2021-12-01
• 公開（公告）號: CN114241126A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 吳向陽;周詩洋
• 申請（專利權）人: 東南大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V20/10;G06V20/40;G06V40/10;G06V10/25;G06V10/762;G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 施昊

1.一種基于實景模型的單目視頻中物體位置信息提取方法，其特征在于，包括以下步驟： （1）通過監控獲取視頻區域的三維數據，根據獲取的三維數據進行三維實景模型的構建； （2）利用監控的實時視頻獲取監控攝像頭的姿態參數，再將監控視頻投射到實景模型上； （3）對投射到實景模型上的視頻進行圖像截取，利用構建的小目標檢測網絡對圖像進行目標檢測，輸出檢測出的目標種類信息及在圖片上的位置信息； （4）通過目標檢測結果的像素坐標獲取其在實景模型中的地理位置轉化成地理坐標。

2.根據權利要求1所述一種基于實景模型的單目視頻中物體位置信息提取方法，其特征在于，步驟（1）中所述三維數據具體為在測區中選取控制點，再利用無人機對測區進行航攝得到傾斜攝影測量，再通過Context Capture進行三維實景模型的構建，所述三維實景模型精度要求為1∶500且經過精細化處理。

3.根據權利要求2所述一種基于實景模型的單目視頻中物體位置信息提取方法，其特征在于，步驟（1）中三維實景模型的構建具體為，首先將多種源數據、分辨率和任意數據量的照片進行同名點選取，然后經過多視匹配、三角網構建得到三角網模型，再經過紋理自動映射制成監控區域的三維實景模型。

4.根據權利要求1所述一種基于實景模型的單目視頻中物體位置信息提取方法，其特征在于，步驟（2）具體利用H5Stream將實時監控視頻接入到基于Cesium構建的Web系統中來獲取監控攝像頭姿態參數，對第一人稱視角下的監控區域三維實景模型在攝像頭的位置下進行各方位截圖，記錄其在Cesium中的姿態信息，利用圖片匹配算法對視頻流的幀圖像與截圖進行匹配找到最相似的一張，根據截圖獲取到視頻投射的粗略姿態信息，再將監控視頻以視頻紋理的形式投射到三維實景模型的表面上并進行手動微調。

5.根據權利要求1所述一種基于實景模型的單目視頻中物體位置信息提取方法，其特征在于，步驟（3）使用YOLOv3通用目標檢測算法并對其改進實現對監控圖像上的小目標檢測，使用DBSCAN+K-Means聚類算法對先驗框進行聚類優化并將分辨率為13×13、26×26和52×52的三個特征層修改為兩個較大尺度的分辨率26×26和52×52的特征層。

6.根據權利要求1所述一種基于實景模型的單目視頻中物體位置信息提取方法，其特征在于，步驟（4）利用Cesium接口對像素坐標進行兩次轉換：像素坐標向直角坐標的轉換，直角坐標向地理坐標的轉換，最終獲取物體在真實世界中的位置信息。