[發明專利]一種視頻監控和遙感的多模態協同優化方法及系統

有效

• 申請號: 202111154171.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113947714B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 李曉威;陳升敬;劉曉建
• 申請（專利權）人: 廣州賦安數字科技有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/40;G06V20/52;G06V10/774;G06N20/00
• 代理公司: 北京中仟知識產權代理事務所(普通合伙) 11825
• 代理人: 周慶佳

1.一種視頻監控和遙感的多模態協同優化方法，其特征在于，包括：

構建監控畫面目標檢測數據集和遙感圖像目標檢測數據集；

根據所述監控畫面目標檢測數據集和所述遙感圖像目標檢測數據集對機器學習模型進行訓練，得到訓練好的第一分類器和第二分類器；

根據預設監控攝像頭的狀態參數構建監控攝像頭畫面坐標和遙感經緯度坐標的映射關系；

利用所述第一分類器識別監控畫面中的物體，得到監控畫面中所有物體的第一置信度集合，并利用所述第二分類器識別遙感圖像中的物體，得到遙感圖像中所有物體的第二置信度集合；

分別利用所述第一分類器和所述第二分類器對預設識別物體進行識別，得到識別結果，并根據所述第一置信度集合、所述第二置信度集合和所述映射關系對所述識別結果進行數據融合和標記，得到添加偽標簽后的監控畫面和添加偽標簽后的遙感圖像；

根據所述添加偽標簽后的監控畫面和所述添加偽標簽后的遙感圖像獲取訓練集，并根據所述訓練集分別對所述第一分類器和所述第二分類器進行訓練，得到優化后的分類器；

將待測監控畫面和待測遙感圖像輸入至所述優化后的分類器中進行識別和融合，得到目標識別結果；

所述分別利用所述第一分類器和所述第二分類器對預設識別物體進行識別，得到識別結果，并根據所述第一置信度集合、所述第二置信度集合和所述映射關系對所述識別結果進行數據融合和標記，得到添加偽標簽后的監控畫面和添加偽標簽后的遙感圖像，包括：

根據所述監控畫面目標檢測數據集和所述遙感圖像目標檢測數據集確定所述預設識別物體；所述預設識別物體經過分類器識別得到預設目標識別物體；

分別將所述監控畫面目標檢測數據集和所述遙感圖像目標檢測數據集對應輸入至所述第一分類器和所述第二分類器進行識別，得到第一分類結果和第二分類結果；

根據所述第一分類結果和所述第二分類結果進行數據融合，得到所述識別結果，并根據所述識別結果、所述第一置信度集合、所述第二置信度集合和所述映射關系進行數據標記，得到所述添加偽標簽后的監控畫面和所述添加偽標簽后的遙感圖像；

所述根據所述第一分類結果和所述第二分類結果進行數據融合，得到所述識別結果，并根據所述識別結果、所述第一置信度集合、所述第二置信度集合和所述映射關系進行數據標記，得到所述添加偽標簽后的監控畫面和所述添加偽標簽后的遙感圖像，包括：

若所述第一分類結果中包括所述預設目標識別物體且所述第二分類結果中不包括所述預設目標識別物體，則提取所述第一置信度集合中所述預設目標識別物體的置信度，并判斷所述預設目標識別物體的置信度是否大于或等于預設置信度閾值，若是，則獲取所述預設目標識別物體的目標識別框，并根據所述映射關系和所述目標識別框得到遙感圖像中的對應區域，將所述對應區域標記為第一識別結果；

若所述第一分類結果中不包括所述預設目標識別物體且所述第二分類結果中包括所述預設目標識別物體，則提取所述第二置信度集合中所述預設目標識別物體的置信度，并判斷所述預設目標識別物體的置信度是否大于或等于預設置信度閾值，若是，則獲取所述預設目標識別物體的目標識別框，并根據所述映射關系和所述目標識別框得到監控畫面中的對應區域，將所述對應區域標記為第二識別結果；

若所述第一分類結果中包括所述預設目標識別物體且所述第二分類結果中包括所述預設目標識別物體，則提取所述第一置信度集合和所述第二置信度集合中所述預設目標識別物體的置信度；

若所述第一分類結果和所述第二分類結果中識別到的目標物體類型相同，則判斷述第一置信度集合中所述預設目標識別物體的置信度是否大于或等于預設置信度閾值或所述第二置信度集合中所述預設目標識別物體的置信度是否大于或等于預設置信度閾值，若是，則將所述第一分類結果和所述第二分類結果確定為正確結果；

若所述第一分類結果和所述第二分類結果中識別到的目標物體類型不相同，則篩選出所述第一置信度集合中所述預設目標識別物體的置信度和所述第二置信度集合中所述預設目標識別物體的置信度的最大值，并判斷所述最大值是否大于或等于預設置信度閾值時，若是，則以所述最大值對應的目標物體類型對另一個置信度對應的目標物體類型進行修正，得到修正結果；

根據所述修正結果得到所述添加偽標簽后的監控畫面和所述添加偽標簽后的遙感圖像。