[發明專利]一種視頻監控和遙感圖像的天地多視圖對齊方法

有效

• 申請號: 202110930060.3
• 申請日: 2021-08-13
• 公開（公告）號: CN113642463B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 梁華;李曉威
• 申請（專利權）人: 廣州賦安數字科技有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/25;G06V10/77;G06V10/75;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州圣理華知識產權代理有限公司 44302
• 代理人: 董覺非;張凱

1.一種視頻監控和遙感圖像的天地多視圖對齊方法，其特征在于，包括以下步驟：

步驟S1：對齊監控攝像頭畫面坐標和經緯度坐標，建立監控攝像頭畫面坐標和經緯度坐標的低精度映射關系，將監控攝像頭左上、左下、右上、右下四個畫面坐標轉換為經緯度坐標，由轉換得到的經緯度坐標在遙感圖像上得到對應的目標區域；

步驟S2：分別對監控攝像頭畫面和遙感圖像目標區域進行實例分割，得到監控攝像頭畫面中所有物體的圖像塊信息集合Φ和遙感圖像目標區域中的所有物體的圖像塊信息集合μ，并抽取每個圖像塊的特征；

步驟S3：根據步驟S2中的圖像塊的特征、類別、映射的位置關系，利用匈牙利算法，實現監控攝像頭畫面中圖像塊與遙感圖像目標區域中圖像塊之間的粗匹配，得到圖像塊對的對應集合；

步驟S4：利用步驟S3中的圖像塊對的對應集合選取數據，根據多組圖像塊對的對應關系，建立監控攝像頭畫面和遙感圖像精確的映射關系；

所述步驟S3中監控攝像頭畫面中圖像塊與遙感圖像目標區域中圖像塊之間的匹配過程包括如下步驟：

步驟S3.1：構造二分圖G＝(X,Y,E)，其中X表示監控攝像頭畫面中的圖像塊集合，Y表示遙感畫面中的圖像塊集合，E表示X中所有節點與Y中所有節點之間的邊集；邊集E按照如下規則構造：如果Sim(x,y)0，x∈X，y∈Y，則在二分圖G中對應的兩個頂點x與y之間連一條邊(x,y)，并設置該邊的權重w_xy＝Sim(x,y)，其中Sim(x,y)表示特征x與特征y的相似性(x∈X,y∈Y)；

步驟S3.2：通過每個圖像塊的類別標簽，將監控攝像頭畫面中和遙感圖像中相同類別的圖像塊進行連線，得到一對一和一對多的情況；

步驟S3.3：利用步驟S1中的監控攝像頭畫面坐標和經緯度坐標的低精度映射關系，以圖像塊的中心點作為圖像塊的坐標，將監控攝像頭畫面中的圖像塊坐標轉換為經緯度坐標，得到轉換后的經緯度坐標集合A＝{＜λ_i,ψ_i＞}，其中＜λ_i,ψ_i＞表示監控攝像頭畫面中第i個圖像塊轉換后的經緯度坐標，λ_i是經度，ψ_i是緯度；由遙感影像圖可得圖像塊經緯度坐標集合其中表示遙感圖像目標區域中第j個圖像塊的經緯度坐標，是經度，ε_j是緯度，設定一個閾值(lon,lat)，滿足以下條件的則保留兩者之間的連線，否則刪除連線：

|ψ_i-ε_j|＜lat

步驟S3.4：由步驟S3.3得到的圖像塊之間的匹配集合及對應的特征集合，利用匈牙利算法得到最佳匹配，實現監控攝像頭畫面中圖像塊與遙感圖像目標區域中圖像塊之間的對應匹配。