[發(fā)明專利]一種視頻監(jiān)控和遙感的多模態(tài)協(xié)同優(yōu)化方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111154171.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113947714B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計）人: 李曉威;陳升敬;劉曉建
• 申請（專利權(quán)）人: 廣州賦安數(shù)字科技有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/40;G06V20/52;G06V10/774;G06N20/00
• 代理公司: 北京中仟知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11825
• 代理人: 周慶佳

本發(fā)明涉及一種視頻監(jiān)控和遙感的多模態(tài)協(xié)同優(yōu)化方法及系統(tǒng)，方法包括：構(gòu)建第一分類器和第二分類器；根據(jù)預(yù)設(shè)監(jiān)控攝像頭的狀態(tài)參數(shù)構(gòu)建監(jiān)控攝像頭畫面坐標(biāo)和遙感經(jīng)緯度坐標(biāo)的映射關(guān)系；對同一物體進(jìn)行目標(biāo)識別，提取所述第一分類器和所述第二分類器中的識別結(jié)果進(jìn)行數(shù)據(jù)融合；對分類器進(jìn)行課程式學(xué)習(xí)，不斷優(yōu)化分類器；將待測監(jiān)控畫面和待測遙感圖像輸入至所述優(yōu)化后的分類器中進(jìn)行識別和融合，得到目標(biāo)識別結(jié)果。本發(fā)明結(jié)合了視頻監(jiān)控和遙感，并結(jié)合協(xié)同優(yōu)化，在已有的機(jī)器學(xué)習(xí)模型的基礎(chǔ)上，訓(xùn)練新模型，在多模態(tài)識別中實(shí)現(xiàn)結(jié)果融合，以實(shí)現(xiàn)在線學(xué)習(xí)，從而提高識別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)識別技術(shù)領(lǐng)域，特別是涉及一種視頻監(jiān)控和遙感 的多模態(tài)協(xié)同優(yōu)化方法及系統(tǒng)。

背景技術(shù)

目標(biāo)識別技術(shù)在視頻監(jiān)控、機(jī)器人、智能交通等領(lǐng)域都有廣泛的 應(yīng)用前景。但是由于目標(biāo)識別需要涉及到大量數(shù)據(jù)的計算和分析，外 加光視角等環(huán)境因素的干擾，傳統(tǒng)識別算法無法提取到圖像的優(yōu)選特 征，導(dǎo)致識別率有限。

目標(biāo)檢測識別是遙感技術(shù)的重要應(yīng)用之一，在海洋監(jiān)測、地質(zhì)勘 測、城市規(guī)劃等領(lǐng)域意義重大。現(xiàn)有的遙感圖像目標(biāo)檢測方法采用一 步式的目標(biāo)檢測算法或旋轉(zhuǎn)變換的數(shù)據(jù)增強(qiáng)方式的檢測方法，成本較 高，并且不能在保證目標(biāo)檢測高精度的前提下，滿足對遙感圖像實(shí)時 檢測的要求。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種視頻監(jiān)控和 遙感的多模態(tài)協(xié)同優(yōu)化方法及系統(tǒng)。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種視頻監(jiān)控和遙感的多模態(tài)協(xié)同優(yōu)化方法，包括：

構(gòu)建監(jiān)控畫面目標(biāo)檢測數(shù)據(jù)集和遙感圖像目標(biāo)檢測數(shù)據(jù)集；

根據(jù)所述監(jiān)控畫面目標(biāo)檢測數(shù)據(jù)集和所述遙感圖像目標(biāo)檢測數(shù) 據(jù)集對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的第一分類器和第二分類 器；

根據(jù)預(yù)設(shè)監(jiān)控攝像頭的狀態(tài)參數(shù)構(gòu)建監(jiān)控攝像頭畫面坐標(biāo)和遙 感經(jīng)緯度坐標(biāo)的映射關(guān)系；

利用所述第一分類器識別監(jiān)控畫面中的物體，得到監(jiān)控畫面中所 有物體的第一置信度集合，并利用所述第二分類器識別遙感圖像中的 物體，得到遙感圖像中所有物體的第二置信度集合；

分別利用所述第一分類器和所述第二分類器對預(yù)設(shè)識別物體進(jìn) 行識別，得到識別結(jié)果，并根據(jù)所述第一置信度集合、所述第二置信 度集合和所述映射關(guān)系對所述識別結(jié)果進(jìn)行數(shù)據(jù)融合和標(biāo)記，得到添 加偽標(biāo)簽后的監(jiān)控畫面和添加偽標(biāo)簽后的遙感圖像；

根據(jù)所述添加偽標(biāo)簽后的監(jiān)控畫面和所述添加偽標(biāo)簽后的遙感 圖像獲取訓(xùn)練集，并根據(jù)所述訓(xùn)練集分別對所述第一分類器和所述第 二分類器進(jìn)行訓(xùn)練，得到優(yōu)化后的分類器；

將待測監(jiān)控畫面和待測遙感圖像輸入至所述優(yōu)化后的分類器中 進(jìn)行識別和融合，得到目標(biāo)識別結(jié)果。

優(yōu)選地，所述根據(jù)所述監(jiān)控畫面目標(biāo)檢測數(shù)據(jù)集和所述遙感圖像 目標(biāo)檢測數(shù)據(jù)集對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的第一分類器 和第二分類器，包括：

分別對所述監(jiān)控畫面目標(biāo)檢測數(shù)據(jù)集和所述遙感圖像目標(biāo)檢測 數(shù)據(jù)集按照預(yù)設(shè)比例進(jìn)行劃分，得到監(jiān)控畫面訓(xùn)練集、監(jiān)控畫面驗(yàn)證 集、遙感圖像訓(xùn)練集和遙感圖像驗(yàn)證集；

基于多尺度訓(xùn)練方法及數(shù)據(jù)處理方法，根據(jù)所述監(jiān)控畫面訓(xùn)練集 和所述遙感圖像訓(xùn)練集對YoloV3模型進(jìn)行訓(xùn)練，并根據(jù)所述監(jiān)控畫 面驗(yàn)證集和所述遙感圖像驗(yàn)證集對訓(xùn)練的所述YoloV3模型進(jìn)行評估， 得到訓(xùn)練好的YoloV3模型；

利用所述訓(xùn)練好的YoloV3模型構(gòu)建所述第一分類器和所述第二 分類器。

優(yōu)選地，所述根據(jù)預(yù)設(shè)監(jiān)控攝像頭的狀態(tài)參數(shù)構(gòu)建監(jiān)控攝像頭畫 面坐標(biāo)和遙感經(jīng)緯度坐標(biāo)的映射關(guān)系，包括：