[發(fā)明專利]一種無(wú)人機(jī)航攝影像的實(shí)時(shí)拼接方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710817912.1
• 申請(qǐng)日: 2017-09-12
• 公開（公告）號(hào): CN107507132B
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 孫婷婷;任斌;王陳
• 申請(qǐng)（專利權(quán)）人: 成都縱橫自動(dòng)化技術(shù)股份有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/33;G06T7/38
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 戴勇靈

本發(fā)明涉及圖像處理領(lǐng)域，具體而言，涉及無(wú)人機(jī)航攝影像的實(shí)時(shí)拼接方法。本發(fā)明提供的無(wú)人機(jī)航攝影像拼接方法，根據(jù)相鄰待拼接航攝影像的重疊率，實(shí)時(shí)調(diào)整提取關(guān)鍵航攝影像的幀間間隔；并根據(jù)相鄰兩幀同名點(diǎn)的匹配關(guān)系得到相鄰兩幀的變換矩陣，將序列航攝影像變換到參考影像的坐標(biāo)系；根據(jù)設(shè)置的參考幀調(diào)整判決條件，實(shí)時(shí)調(diào)整參考幀，以將航攝影像變換到參考幀坐標(biāo)系過(guò)程中產(chǎn)生的累積誤差分散到各幀影像，避免誤差累積導(dǎo)致后續(xù)影像的嚴(yán)重扭曲變形。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種無(wú)人機(jī)航攝影像的實(shí)時(shí)拼接方法。

背景技術(shù)

近年來(lái)無(wú)人機(jī)因其高效，靈活，低成本等特性，已被廣泛應(yīng)用于勘探，應(yīng)急，救災(zāi)等領(lǐng)域。無(wú)人機(jī)航空攝影測(cè)量技術(shù)大大降低了傳統(tǒng)航空攝影測(cè)量技術(shù)的工作周期和人力，財(cái)力的投入，使得航空攝影測(cè)量技術(shù)在應(yīng)急救災(zāi)等具有更加現(xiàn)實(shí)的意義。一方面可以通過(guò)搭載的視頻捕捉設(shè)備通過(guò)圖像遠(yuǎn)程傳輸技術(shù)實(shí)施觀察航拍區(qū)域的現(xiàn)狀；另一方面可以待航攝飛行任務(wù)完成后，利用航攝影像拼接技術(shù)對(duì)航攝影像進(jìn)行拼接，以得到航攝區(qū)域的整體影像。在攝影測(cè)量領(lǐng)域，典型的航攝影像拼接方法包括：以滿足一定重疊率和時(shí)間間隔的航攝影像為數(shù)據(jù)源；并根據(jù)航攝影像的像空間坐標(biāo)系和物空間坐標(biāo)系的姿態(tài)數(shù)據(jù)，對(duì)航攝影像進(jìn)行正射校正；然后通過(guò)特征點(diǎn)提取與匹配技術(shù)得到航攝影像中特征點(diǎn)對(duì)的匹配關(guān)系；利用航攝影像間特征點(diǎn)對(duì)的匹配關(guān)系，實(shí)現(xiàn)航攝影像的拼接。但是，在上述無(wú)人機(jī)航空攝影測(cè)量技術(shù)存在以下問(wèn)題：若實(shí)時(shí)觀察航攝影像，則存在視場(chǎng)窄，觀察范圍小的問(wèn)題；若利用航攝影像拼接拓展視場(chǎng)，則存在需待航攝任務(wù)完成后再對(duì)航攝影像進(jìn)行拼接的問(wèn)題，即不能實(shí)時(shí)的問(wèn)題。

由此可知，在現(xiàn)有的航攝影像拼接的過(guò)程中，初始關(guān)鍵幀提取間隔是固定不變的，不會(huì)隨著時(shí)間的推移而實(shí)時(shí)的調(diào)整，隨著無(wú)人機(jī)姿態(tài)等的變化，為了使相鄰關(guān)鍵幀影像的重疊率滿足拼接要求，現(xiàn)有技術(shù)一般設(shè)置固定的幀間間隔提取關(guān)鍵幀，且一般設(shè)置的幀間提取間隔較小。主要是因?yàn)闊o(wú)人機(jī)作業(yè)過(guò)程中姿態(tài)等的變化會(huì)影響相鄰關(guān)鍵幀影像的重疊率，為了避免上述因素導(dǎo)致相鄰關(guān)鍵幀影像的重疊率不滿足拼接要求，故而設(shè)置的幀間間隔較小。現(xiàn)有技術(shù)中較小幀間間隔并不能滿足攝影測(cè)量學(xué)中對(duì)于拼接影像重疊率的要求，重疊率過(guò)高增加了算法的計(jì)算量，導(dǎo)致航攝影像實(shí)時(shí)性受到影響；重疊率過(guò)低，不能滿足拼接要求。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是避免了相鄰兩幅關(guān)鍵幀重疊率過(guò)高而導(dǎo)致的計(jì)算量過(guò)高，而導(dǎo)致的航攝影像實(shí)時(shí)性差，目的在于提供一種無(wú)人機(jī)航攝影像的實(shí)時(shí)拼接方法，隨著無(wú)人機(jī)姿態(tài)等的變化，根據(jù)當(dāng)前幀間間隔的關(guān)系實(shí)時(shí)調(diào)整后續(xù)關(guān)鍵幀影像的提取間隔，以確保各個(gè)相鄰兩幅關(guān)鍵幀的重疊區(qū)域及重疊率滿足拼接影像的要求，同時(shí)也避免了相鄰兩幅關(guān)鍵幀重疊率過(guò)高而導(dǎo)致的計(jì)算量過(guò)高的問(wèn)題，最終實(shí)現(xiàn)航射影像的實(shí)時(shí)拼接。

本發(fā)明通過(guò)下述技術(shù)方案實(shí)現(xiàn)：

一種無(wú)人機(jī)航攝影像的實(shí)時(shí)拼接方法，包括如下步驟：

步驟A)設(shè)置初始參考幀R1及初始關(guān)鍵幀提取的幀間間隔Gap0，幀間間隔Gap0根據(jù)航攝影像重疊率要求設(shè)置；

步驟B)根據(jù)初始關(guān)鍵幀提取的幀間間隔Gap0，從序列航攝影像中得到關(guān)鍵幀R2；

步驟C)從初始參考幀R1中提取特征點(diǎn)序列S1，并提取關(guān)鍵幀R2的特征點(diǎn)序列S2，利用KD樹算法得到特征點(diǎn)序列S1和特征點(diǎn)序列S2中匹配特征點(diǎn)對(duì)的坐標(biāo)匹配關(guān)系；

步驟D)根據(jù)特征點(diǎn)序列S1與S2中匹配特征點(diǎn)對(duì)的坐標(biāo)匹配關(guān)系和直接線性變換算法得到關(guān)鍵幀R2相對(duì)于參考幀R1的變換矩陣并利用變換矩陣H1，將關(guān)鍵幀R2變換到參考幀R1的坐標(biāo)平面內(nèi)；

步驟E)根據(jù)關(guān)鍵幀R2與參考幀R1的變換關(guān)系H1，得到相鄰兩個(gè)關(guān)鍵幀之間的重疊率OverLap1；并根據(jù)相鄰兩個(gè)關(guān)鍵幀的重疊率OverLap1，得到提取后續(xù)關(guān)鍵幀的幀間間隔Gap1；