[發(fā)明專利]一種基于多無人機實時圖像拼接方法及目標(biāo)檢測方法

有效

• 申請?zhí)枺?/td>: 202211276583.1
• 申請日: 2022-10-19
• 公開（公告）號: CN115358930B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計）人: 張昆;廖元塏;楊汶
• 申請（專利權(quán)）人: 成都菁蓉聯(lián)創(chuàng)科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 西安正華恒遠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61271
• 代理人: 黃鑫

本發(fā)明公開了一種基于多無人機實時圖像拼接方法及目標(biāo)檢測方法，涉及圖像處理技術(shù)領(lǐng)域，包括以下步驟：S1、確定參考圖像和待拼接圖像；S2、構(gòu)建圖像金字塔，對每個無人機拍攝的圖像計算參考圖像特征點和待拼接圖像特征點；S3、將待拼接圖像投影到參考圖像的平面，使用K鄰近算法計算參考圖像的特征點和待拼接圖像的特征點的歐式距離，其計算所得的最小值作為匹配結(jié)果；S4、根據(jù)匹配結(jié)果將待拼接的圖像和參考圖像進行拼接，得到拼接后的圖像，完成多無人機實時圖像拼接。與現(xiàn)有技術(shù)相比，本發(fā)明拼接速度更快、拼接效果更好、檢測速度更快，能減少誤匹配；能修正誤差；不同目標(biāo)之間的關(guān)聯(lián)性更強。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體包括一種基于多無人機實時圖像拼接方法及目標(biāo)檢測方法。

背景技術(shù)

圖像拼接是將多張連續(xù)或有重疊部分的圖像拼成一幅無縫的全景圖或高分辨率圖像的技術(shù)。目標(biāo)檢測技術(shù)是一種基于目標(biāo)幾何和統(tǒng)計特征的圖像分割。兩種技術(shù)大量運用于醫(yī)療病灶診斷成像，無人機航拍，遙感成像，軍事目標(biāo)檢測等方面?，F(xiàn)有的圖像拼接和目標(biāo)檢測方法用于無人機航拍作業(yè)時多為單無人機的圖像采集和拼接?，F(xiàn)有技術(shù)中，一般有以下幾種無人機圖像拼接和目標(biāo)檢測方法：

基于無人機的面積測量方法、設(shè)置及存儲介質(zhì)：接收并保存無人機采集的地面圖像和距離地面的高度，拼接地面圖像得到全景圖；對全景圖進行目標(biāo)檢測處理和語義分割處理，得到目標(biāo)物體在全景圖中的像素集合；基于高度得到像素集合中每個像素對應(yīng)的地面面積，累加地面面積得到目標(biāo)物體的目標(biāo)面積。由于無人機功耗和目前電池技術(shù)的限制，單個無人機可檢測范圍有限，覆蓋范圍小，對于面積測量和目標(biāo)檢測范圍較小，實用價值有限。

基于多用戶多無人機系統(tǒng)進行實時堤壩目標(biāo)檢測方法：S1、通過大量的無人機對堤壩進行大量視頻采集；S2、對采集的視頻進行抽幀和篩選得到符合條件的圖片數(shù)據(jù)集；S3、使用LableImg對圖片數(shù)據(jù)集標(biāo)注得到xml文件；S4、在darknet框架下創(chuàng)建自己的數(shù)據(jù)集目錄，將原始圖片和xml文件放到相應(yīng)的目錄下；S5、根據(jù)數(shù)據(jù)集的情況對相應(yīng)的配置文件進行修改，運行相應(yīng)的Python文件生成帶全路徑的訓(xùn)練文件和測試文件，并將xml文件轉(zhuǎn)換成TXT文件；S6、建立并檢測模型利用數(shù)據(jù)集對檢測模型進行訓(xùn)練，當(dāng)模型收斂時得到損失值和權(quán)重文件，根據(jù)權(quán)重文件完成對視頻流數(shù)據(jù)進行實時檢測完成堤壩目標(biāo)的檢測。該方法存在的缺陷是，僅使用多無人機對目標(biāo)進行檢測，并未使用到多無人機對多圖像進行融合拼接和，不能及時發(fā)現(xiàn)多個目標(biāo)點的關(guān)聯(lián)性。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的一種基于多無人機實時圖像拼接方法及目標(biāo)檢測方法解決了單個無人機可檢測范圍有限，多個目標(biāo)點的關(guān)聯(lián)性不強的問題。

為了達到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

一種基于多無人機實時圖像拼接方法，包括以下步驟：

S1、確定參考圖像和待拼接圖像；

S2、構(gòu)建圖像金字塔，對每個無人機拍攝的圖像計算參考圖像特征點和待拼接圖像特征點；

S3、將待拼接圖像投影到參考圖像的平面，使用K鄰近算法計算參考圖像的特征點和待拼接圖像的特征點的歐式距離，其計算所得的最小值作為匹配結(jié)果；

S4、根據(jù)匹配結(jié)果使用改進的RANSAC方法計算投影矩陣，將待拼接的圖像和參考圖像進行拼接，得到拼接后的圖像，完成多無人機實時圖像拼接。

進一步地，步驟S1的具體實現(xiàn)方式如下：

對無人機進行編號，當(dāng)無人機為奇數(shù)時選擇編號為偶數(shù)的無人機作為參考無人機，當(dāng)無人機為偶數(shù)時選擇編號為奇數(shù)的無人機作為參考無人機，將每個無人機拍攝的第一幀圖像作為第一類參考圖像，其余幀為第一類待拼接圖像；將參考無人機拍攝并進行拼接后的圖片作為第二類參考圖像，將非參考無人機拍攝并進行拼接后的圖片作為第二類待拼接圖像。

進一步地，步驟S2的具體實現(xiàn)方式如下：