[發明專利]一種視頻監控和遙感圖像的天地多視圖對齊方法

有效

• 申請號: 202110930060.3
• 申請日: 2021-08-13
• 公開（公告）號: CN113642463B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 梁華;李曉威
• 申請（專利權）人: 廣州賦安數字科技有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/25;G06V10/77;G06V10/75;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州圣理華知識產權代理有限公司 44302
• 代理人: 董覺非;張凱

本發明公開了一種視頻監控和遙感圖像的天地多視圖對齊方法，通過對齊監控攝像頭畫面坐標和經緯度坐標，建立監控攝像頭和經緯度坐標的低精度映射關系，由轉換得到的經緯度坐標在遙感圖像上得到對應的目標區域；然后分別對監控攝像頭畫面和遙感圖像目標區域進行實例分割，得到監控攝像頭畫面中所有物體的圖像塊信息集合Φ和遙感圖像目標區域中的所有物體的圖像塊信息集合μ，并抽取每個圖像塊的特征；根據圖像塊的特征、類別、映射的位置關系，利用匈牙利算法，實現監控攝像頭畫面中圖像塊與遙感圖像目標區域中圖像塊之間的粗匹配，得到圖像塊對的對應集合；利用圖像塊對的對應集合選取數據，建立監控攝像頭畫面和遙感圖像精確的映射關系。

技術領域

本發明涉及目標檢測領域，具體涉及一種視頻監控和遙感圖像的天地多視圖對齊方法。

背景技術

圖像配準是將同一地點、不同時間或不同傳感器拍攝的兩幅圖像進行幾何匹配的過程。圖像配準是圖像融合、變化檢測等應用的前提和基礎，圖像配準的精度對后續的應用具有重要的影響。

基于特征的圖像配準方法是目前圖像配準最常用的方法之一，其最大的優點在于能夠將對整個圖像進行的各種分析轉化為對圖像特征信息，即特征點、特征曲線、邊緣、較小的區域的分析，從而大大減小了圖像處理過程的運算量，而且對灰度變化、圖像變形以及遮擋等都有較好的適應能力，以及能夠實現在復雜成像條件下圖像的快速、精確配準。由于噪聲、拍攝條件、季節變化、視角變化、平臺抖動等因素的影響，基于特征的配準方法更適合遙感圖像配準。

如果匹配的圖像中存在著大量重復的特征，例如建筑物表面存在完全相同的窗戶或者圖案等，傳統的圖像匹配方法不能夠有效區分各個特征，最終導致了不能有效將兩幅圖像進行匹配。

近年來，提出了一些結合監控視頻和遙感衛星的識別檢測方法，例如：

公開號為CN108132979 A的發明專利公開了一種基于遙感圖像的港口地物監測方法及系統，該發明包括，原始地物數據庫建立，利用三維掃描儀在同一空間高度將港口所有需要監測的地物進行掃描，得到三維遙感圖像集合，并記錄存儲對應真實照片；建立地物坐標系，在相對空曠區域且靠近港口邊緣選擇三維坐標系的原點，在港口邊緣模擬X軸，建立三維坐標系；地物分類，結合地物的實際大小和形狀進行分類；地物邊界點的提取，利用三維掃描儀對港口進行360°全景掃描，得到地物邊界的離散點集合；地物實時監控，將掃描得到的離散點集合傳輸到數據處理單元進行立體遙感圖形模擬，并從原始地物數據庫中提取近似度最高的三維遙感圖像，進而匹配到對應的真實圖像。但是該方法中如果匹配的圖像中存在著大量重復的特征，不能夠有效區分各個特征。

發明內容

為了解決上述技術問題，本發明的目的在于提供一種視頻監控和遙感圖像的天地多視圖對齊方法，通過構建實例分割模型來對監控攝像頭畫面和遙感圖像目標區域進行實例分割，得到監控攝像頭畫面中所有物體的圖像塊信息集合Φ和遙感圖像目標區域中所有物體的圖像塊信息集合μ，利用語義分割將物體從背景中分離，減小了圖像背景的干擾，提高了圖像匹配的效率。進而利用匈牙利算法得到最佳匹配，實現監控攝像頭畫面中圖像塊與遙感圖像目標區域中圖像塊之間的對應匹配，提高圖像匹配的準確率，并將監控攝像頭和遙感圖像的圖像塊之間建立對應關系，實現了監控畫面和遙感圖像精確的映射關系，能夠實現在復雜成像條件下圖像的快速、精確配準。

為實現上述發明目的，本發明采取的技術方案如下：

一種視頻監控和遙感圖像的天地多視圖對齊方法，包括以下步驟：

步驟S1：對齊監控攝像頭畫面坐標和經緯度坐標，建立監控攝像頭畫面坐標和經緯度坐標的低精度映射關系，將監控攝像頭左上、左下、右上、右下四個畫面坐標轉換為經緯度坐標，由轉換得到的經緯度坐標在遙感圖像上得到對應的目標區域；

步驟S2：分別對監控攝像頭畫面和遙感圖像目標區域進行實例分割，得到監控攝像頭畫面中所有物體的圖像塊信息集合Φ和遙感圖像目標區域中的所有物體的圖像塊信息集合μ，并抽取每個圖像塊的特征；