[發(fā)明專利]一種基于金字塔結(jié)構(gòu)的光流估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910356481.2
• 申請(qǐng)日: 2019-04-29
• 公開（公告）號(hào): CN110176023B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 王瀚漓;孫澤鋒
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06T7/207
• 分類號(hào): G06T7/207;G06T7/269;G06T7/246;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

本發(fā)明涉及一種基于金字塔結(jié)構(gòu)的光流估計(jì)方法，包括以下步驟：構(gòu)建空間金字塔孿生網(wǎng)絡(luò)模型；構(gòu)建結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型，結(jié)構(gòu)金字塔的各個(gè)層設(shè)置至少一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，從底層到高層，卷積神經(jīng)網(wǎng)絡(luò)的數(shù)量依次遞減；在光流訓(xùn)練集中獲取一組圖片對(duì)和對(duì)應(yīng)的光流標(biāo)簽；采用空間金字塔孿生網(wǎng)絡(luò)模型對(duì)圖片對(duì)進(jìn)行多尺度特征提取和下采樣，并將提取的特征對(duì)輸入到結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型對(duì)應(yīng)層的卷積神經(jīng)網(wǎng)絡(luò)中；參照光流標(biāo)簽，同時(shí)對(duì)空間金字塔孿生網(wǎng)絡(luò)模型和結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和微調(diào)；在光流測(cè)試集上，使用該空間金字塔孿生網(wǎng)絡(luò)模型和結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型，獲得光流測(cè)試集的預(yù)測(cè)光流場(chǎng)。與現(xiàn)有技術(shù)相比，本發(fā)明具有準(zhǔn)確度高、效率高等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種光流估計(jì)方法，尤其是涉及一種基于金字塔結(jié)構(gòu)的光流估計(jì)方法。

背景技術(shù)

光流是圖像亮度模式的表觀運(yùn)動(dòng)。當(dāng)人的眼睛觀察運(yùn)動(dòng)物體時(shí)，物體的景象在人眼的視網(wǎng)膜上形成一系列連續(xù)變化的圖像，這一系列連續(xù)變化的信息不斷“流過”視網(wǎng)膜(即圖像平面)，好像一種光的“流”，故稱之為光流。從本質(zhì)上說，光流就是你在這個(gè)運(yùn)動(dòng)著的世界里感覺到的明顯的視覺運(yùn)動(dòng)。光流表達(dá)了圖像的變化，由于它包含了目標(biāo)運(yùn)動(dòng)的信息，因此可被觀察者用來確定目標(biāo)的運(yùn)動(dòng)情況。由光流的定義可以引申出光流場(chǎng)，它是指圖像中所有像素點(diǎn)構(gòu)成的一種二維瞬時(shí)速度場(chǎng)，其中的二維速度矢量是景物中可見點(diǎn)的三維速度矢量在成像表面的投影。

對(duì)光流的研究已經(jīng)成為計(jì)算機(jī)視覺及有關(guān)研究領(lǐng)域中的一個(gè)重要部分。二十多年來，多種光流估計(jì)的方法被提出，光流估計(jì)的準(zhǔn)確性也不斷得到提高。但是基于梯度的傳統(tǒng)光流計(jì)算方法有多個(gè)前提假設(shè)，比如相鄰幀之間的亮度恒定，相鄰視頻幀的取幀時(shí)間連續(xù)，相鄰幀之間物體的運(yùn)動(dòng)比較“微小”，保持空間一致性等。這些假設(shè)可能影響在真實(shí)情況下的光流計(jì)算，導(dǎo)致在實(shí)際應(yīng)用中準(zhǔn)確度下降。同時(shí)，由于傳統(tǒng)光流法采用迭代的方法，計(jì)算復(fù)雜耗時(shí)。基于匹配的傳統(tǒng)光流估計(jì)算法通過不斷地對(duì)目標(biāo)主要特征區(qū)域進(jìn)行定位、跟蹤和匹配來計(jì)算稀疏光流。雖然這類算法可以對(duì)大位移運(yùn)動(dòng)和亮度變化的魯棒性，但難以估計(jì)亞像素精度的光流且計(jì)算耗時(shí)。這兩類傳統(tǒng)方法如果沒有特殊的硬件支持，很難應(yīng)用于視頻序列的實(shí)時(shí)檢測(cè)。

如今，隨著深度學(xué)習(xí)的發(fā)展，越來越多的研究領(lǐng)域開始借助深度學(xué)習(xí)的方法獲得更多研究成果，比如圖像分類、目標(biāo)識(shí)別等等。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法。觀測(cè)值可以使用多種方式來表示，如每個(gè)像素強(qiáng)度值的向量，或者更抽象地表示成一系列邊、特定形狀的區(qū)域等。而使用某些特定的表示方法更容易從實(shí)例中學(xué)習(xí)任務(wù)。深度學(xué)習(xí)能夠通過對(duì)大量數(shù)據(jù)的學(xué)習(xí)獲得提取特征的能力，從而替代手工獲取特征。使用深度學(xué)習(xí)技術(shù)進(jìn)行光流估計(jì)能夠獲得比傳統(tǒng)光流法更高的準(zhǔn)確度，并且大大提高光流估計(jì)的速度，達(dá)到接近實(shí)時(shí)檢測(cè)的效果。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于金字塔結(jié)構(gòu)的光流估計(jì)方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于金字塔結(jié)構(gòu)的光流估計(jì)方法，包括以下步驟：

S1：構(gòu)建空間金字塔孿生網(wǎng)絡(luò)模型；

S2：構(gòu)建結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型，結(jié)構(gòu)金字塔的各個(gè)層設(shè)置至少一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，從底層到高層，卷積神經(jīng)網(wǎng)絡(luò)的數(shù)量依次遞減；

S3：在光流訓(xùn)練集中獲取一組圖片對(duì)和對(duì)應(yīng)的光流標(biāo)簽；

S4：采用空間金字塔孿生網(wǎng)絡(luò)模型對(duì)圖片對(duì)進(jìn)行多尺度特征提取和下采樣，并將提取的特征對(duì)輸入到結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型對(duì)應(yīng)層的卷積神經(jīng)網(wǎng)絡(luò)中；

S5：參照光流標(biāo)簽，同時(shí)對(duì)空間金字塔孿生網(wǎng)絡(luò)模型和結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和微調(diào)；

S6：在光流測(cè)試集上，使用步驟S5獲得的空間金字塔孿生網(wǎng)絡(luò)模型和結(jié)構(gòu)金字塔網(wǎng)絡(luò)模型，獲得光流測(cè)試集的預(yù)測(cè)光流場(chǎng)。