[發(fā)明專利]一種用于室外無人機(jī)的單目稀疏光流算法

有效

• 申請?zhí)枺?/td>: 202011291009.4
• 申請日: 2020-11-17
• 公開（公告）號: CN112529936B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 歐陽子臻;楊煜基;成慧
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06T7/277
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 陳偉斌

本發(fā)明涉及目標(biāo)跟蹤技術(shù)領(lǐng)域，更具體的是涉及一種用于室外無人機(jī)的單目稀疏光流算法，包括以下步驟：S1：提取跟蹤相鄰兩幀灰度圖像的特征點(diǎn)，記為原始樣本點(diǎn)集合；S2：剔除原始樣本點(diǎn)集合中的無效特征點(diǎn)，得到抽樣樣本點(diǎn)集合，并通過抽樣樣本點(diǎn)集合得到最優(yōu)模型Hsubgt;best/subgt;；S3：根據(jù)最優(yōu)模型Hsubgt;best/subgt;，得到無人機(jī)在圖像坐標(biāo)系下的速度；S4：將圖像坐標(biāo)系下的速度轉(zhuǎn)換為攝像機(jī)坐標(biāo)系下的速度。本方案中通過對原始樣本點(diǎn)集合中的無效特征點(diǎn)進(jìn)行剔除，即可以消除無人機(jī)飛行過程中其自身影子產(chǎn)生的特征點(diǎn)影響，使得無人機(jī)在室外飛行時速度估算更加精準(zhǔn)。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)跟蹤技術(shù)領(lǐng)域，更具體地是涉及一種用于室外無人機(jī)的單目稀疏光流算法。

背景技術(shù)

光流的概念由James?J.Gibson于20世紀(jì)40年代首先提出的，是指時變圖像中模式運(yùn)動速度。因為當(dāng)物體在運(yùn)動時，它在圖像上對應(yīng)點(diǎn)的亮度模式也在運(yùn)動，這種圖像亮度目視的表觀運(yùn)動就是光流，由于它包含了目標(biāo)運(yùn)動的信息，因此可被觀察者用來確定目標(biāo)的運(yùn)動情況。

光流法常被用于運(yùn)動圖像分析。它是空間運(yùn)動物體在觀察成像平面上的像素運(yùn)動的瞬時速度，利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀與相鄰兩幀灰度圖像中當(dāng)前幀之間存在的對應(yīng)關(guān)系，從而計算出相鄰幀之間物體的運(yùn)動信息。光流算法從求解規(guī)模上可可分為稠密光流和稀疏光流。稠密光流需要對圖像上每個像素點(diǎn)求解，計算量較大；而稀疏光流只關(guān)注圖像上的特征點(diǎn)如角點(diǎn)或邊沿點(diǎn)，計算量較小，因此適用于嵌入式設(shè)備，目前也較多的應(yīng)用于無人機(jī)飛控系統(tǒng)中，實(shí)施計算獲取無人機(jī)自身的速度。經(jīng)典的稀疏光流算法由Lucas和Kanade于1981年首次提出，因此也被稱作L-K光流。L-K光流算法需要滿足3個基本假設(shè):第一個是亮度恒定假設(shè)。亮度恒定假設(shè)指出，連續(xù)兩幀圖片中代表相同物體的點(diǎn)的亮度保持不變。第二個是時間連續(xù)假設(shè)。時間連續(xù)假設(shè)指出，連續(xù)兩幀圖片中，物體的位移比較小。第三個是空間一致性假設(shè)。空間一致性假設(shè)指出，圖中臨近的點(diǎn)屬于相同的表面，具有相似的運(yùn)動。然后再利用最小二乘法對鄰域中的所有像素點(diǎn)求解基本的光流方程。

中國專利CN106989744A公開了一種獲取光流速度的方法，其對每幀灰度圖采用Shi-Tomasi角點(diǎn)檢測的方法，選取100個紋理信息最明顯的特征點(diǎn)，以特征點(diǎn)為中心選取3*3的像素窗口作為一個像素單元，將相鄰兩幀灰度圖像中前一幀灰度圖中的像素窗口位置作為后一幀灰度圖的像素窗口的初始位置，建立一個搜索區(qū)域，利用Lucas-Kanade反向相乘算法，采用五層光流金字塔模型，利用最小二乘法，通過令相鄰兩幀灰度圖像中前一幀的像素窗口在后一陣的灰度圖的搜索區(qū)域內(nèi)搜索灰度差和最小，求得后一幀的像素窗口位置，兩幀像素窗口的距離差，即為光流向量，通過差分，獲取光流速度。

但是無人機(jī)在室外飛行時，會在太陽的照射下產(chǎn)生影子，當(dāng)無人機(jī)自身影子的邊緣點(diǎn)和角點(diǎn)被選中作為特征點(diǎn)時，則無法正確反映無人機(jī)相對于底面的運(yùn)動速度。因此，這個方法并不適用于室外的無人機(jī)飛行控制。

發(fā)明內(nèi)容

本發(fā)明為克服上述現(xiàn)有技術(shù)中的不足，提供了一種用于室外無人機(jī)的單目稀疏光流算法，可以消除無人機(jī)速度識別過程中自身影子的影響，提高無人機(jī)速度的估算精度。

在本技術(shù)方案中，提供了一種用于室外無人機(jī)的單目稀疏光流算法，包括以下步驟：

S1：提取跟蹤相鄰兩幀灰度圖像的特征點(diǎn)，記為原始樣本點(diǎn)集合；

S2：剔除原始樣本點(diǎn)集合中的無效特征點(diǎn)，得到抽樣樣本點(diǎn)集合，并通過抽樣樣本點(diǎn)集合得到最優(yōu)模型H_best；

S3：根據(jù)最優(yōu)模型H_best，得到無人機(jī)在圖像坐標(biāo)系下的速度；

S4：將圖像坐標(biāo)系下的速度轉(zhuǎn)換為攝像機(jī)坐標(biāo)系下的速度。