[發(fā)明專(zhuān)利]一種基于多無(wú)人機(jī)實(shí)時(shí)圖像拼接方法及目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202211276583.1
• 申請(qǐng)日: 2022-10-19
• 公開(kāi)（公告）號(hào): CN115358930B
• 公開(kāi)（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 張昆;廖元塏;楊汶
• 申請(qǐng)（專(zhuān)利權(quán)）人: 成都菁蓉聯(lián)創(chuàng)科技有限公司
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06T3/00;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 西安正華恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61271
• 代理人: 黃鑫

1.一種基于多無(wú)人機(jī)實(shí)時(shí)圖像拼接方法，其特征在于，包括以下步驟：

S1、確定參考圖像和待拼接圖像；

S2、構(gòu)建圖像金字塔，對(duì)每個(gè)無(wú)人機(jī)拍攝的圖像計(jì)算參考圖像特征點(diǎn)和待拼接圖像特征點(diǎn)；

S3、將待拼接圖像投影到參考圖像的平面，使用K鄰近算法計(jì)算參考圖像的特征點(diǎn)和待拼接圖像的特征點(diǎn)的歐式距離，其計(jì)算所得的最小值作為匹配結(jié)果；

S4、根據(jù)匹配結(jié)果使用改進(jìn)的RANSAC方法計(jì)算投影矩陣，將待拼接的圖像和參考圖像進(jìn)行拼接，得到拼接后的圖像，完成多無(wú)人機(jī)實(shí)時(shí)圖像拼接；

步驟S1的具體方式如下：

對(duì)無(wú)人機(jī)進(jìn)行編號(hào)，當(dāng)無(wú)人機(jī)為奇數(shù)時(shí)選擇編號(hào)為偶數(shù)的無(wú)人機(jī)作為參考無(wú)人機(jī)，當(dāng)無(wú)人機(jī)為偶數(shù)時(shí)選擇編號(hào)為奇數(shù)的無(wú)人機(jī)作為參考無(wú)人機(jī)，將每個(gè)無(wú)人機(jī)拍攝的第一幀圖像作為第一類(lèi)參考圖像，其余幀為第一類(lèi)待拼接圖像；將參考無(wú)人機(jī)拍攝并進(jìn)行拼接后的圖片作為第二類(lèi)參考圖像，將非參考無(wú)人機(jī)拍攝并進(jìn)行拼接后的圖片作為第二類(lèi)待拼接圖像

步驟S2的具體方式如下：

S2-1、使用3種不同尺寸的Boxfilter模板計(jì)算第一類(lèi)參考圖像每個(gè)像素的近似Hessian值，組成一個(gè)三維的近似Hessian值矩陣圖；選擇圖像的中間圖層的近似Hessian值矩陣作為第一類(lèi)參考圖像；

S2-2、將第一類(lèi)參考圖像的每個(gè)像素點(diǎn)和三維的近似Hessian值矩陣圖相鄰的26個(gè)點(diǎn)的值比較大小，當(dāng)該像素點(diǎn)為最大值或最小值時(shí)，確定該像素點(diǎn)為特征點(diǎn)；

S2-3、計(jì)算Harr小波特征值確保特征點(diǎn)方向不變性，對(duì)特征點(diǎn)添加方向?qū)傩裕⑻砑恿朔较驅(qū)傩缘奶卣鼽c(diǎn)放入集合FP中，得到與第一類(lèi)參考圖像相對(duì)應(yīng)的集合FP；

S2-4、使用步驟S2-1至步驟S2-3同樣的方法得到與第一類(lèi)待拼接圖像相對(duì)應(yīng)的集合PJ。

2.根據(jù)權(quán)利要求1所述的一種基于多無(wú)人機(jī)實(shí)時(shí)圖像拼接方法，其特征在于，步驟S3的具體實(shí)現(xiàn)方式如下：

對(duì)于屬于同一個(gè)無(wú)人機(jī)的所有圖像，進(jìn)行以下操作：

S3-1、將第一類(lèi)待拼接圖像投影到第一類(lèi)參考圖像平面；

S3-2、當(dāng)采集的圖像未出現(xiàn)剛性變換時(shí)，進(jìn)入步驟S3-5；當(dāng)采集的圖像出現(xiàn)非剛性變換時(shí)，提取第一類(lèi)參考圖像和第一類(lèi)待拼接圖像的四個(gè)頂點(diǎn)坐標(biāo)并進(jìn)入步驟S3-3；

S3-3、根據(jù)公式：

得到四個(gè)頂點(diǎn)的偏移角度，，，；其中，為圖像出現(xiàn)非剛性變換時(shí)的橫縱坐標(biāo)偏移量；為第一類(lèi)參考圖像的頂點(diǎn)坐標(biāo)，為第一類(lèi)待拼接圖像的頂點(diǎn)坐標(biāo)；為四個(gè)頂點(diǎn)偏移角度的平均值；

S3-4、根據(jù)公式：

得到四個(gè)頂點(diǎn)偏移角度的方差；其中，=4；表示第個(gè)頂點(diǎn)的偏移角度；

S3-5、當(dāng)0 ≤ s ≤ 1.5時(shí)，使用光速平差法對(duì)第一類(lèi)待拼接圖像進(jìn)行修正；當(dāng)s ＞1.5時(shí)，將第一類(lèi)待拼接圖像舍棄；

S3-6、根據(jù)公式：

得到第一類(lèi)參考圖像的特征點(diǎn)和待拼接圖像的特征點(diǎn)的歐式距離；其中，為第一類(lèi)參考圖像特征點(diǎn)，為第一類(lèi)待拼接圖像特征點(diǎn)；

S3-7、計(jì)算由第一類(lèi)參考圖像特征點(diǎn)構(gòu)成的數(shù)據(jù)集的中點(diǎn)與由第一類(lèi)待拼接圖像特征點(diǎn)構(gòu)成的數(shù)據(jù)集的中點(diǎn)之間的歐式距離，并將其與第一類(lèi)參考圖像的特征點(diǎn)和第一類(lèi)待拼接圖像的特征點(diǎn)的歐式距離相比較，把距離最小的匹配結(jié)果作為最終匹配結(jié)果；

S3-8、篩選出匹配結(jié)果對(duì)應(yīng)的匹配點(diǎn)組成匹配點(diǎn)集，即得到與每個(gè)無(wú)人機(jī)對(duì)應(yīng)的匹配點(diǎn)集。