[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的稠密光流估計(jì)方法

有效

• 申請?zhí)枺?/td>: 201711220774.5
• 申請日: 2017-11-29
• 公開（公告）號: CN107993255B
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 項(xiàng)學(xué)智;翟明亮;呂寧;張榮芳;郭鑫立;王帥;于澤婷;張玉琦
• 申請（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號: G06T7/269
• 分類號: G06T7/269
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的稠密光流估計(jì)方法，以解決現(xiàn)有技術(shù)計(jì)算時(shí)間長，計(jì)算量大，計(jì)算效率不高的問題，包含如下步驟：(1)提取運(yùn)動圖像信息：構(gòu)建全卷積網(wǎng)絡(luò)架構(gòu)，然后在輸入層輸入兩幅通道數(shù)都為C的圖像，從卷積層8輸出光流_6；(2)生成光流：構(gòu)建稠密光流生成模型。光流_6輸入反卷積層1，反卷積層2輸出光流_5，反卷積層3輸出光流_4，反卷積層4輸出光流_3，反卷積層5輸出光流_2，反卷積層6輸出光流_1；(3)模型訓(xùn)練：用最終損失函數(shù)進(jìn)行訓(xùn)練；(4)光流估計(jì)：從全卷積網(wǎng)絡(luò)架構(gòu)的輸入層輸入圖像對，輸出最終預(yù)測的光流。本發(fā)明能夠有效地利用先驗(yàn)知識，模型可以預(yù)先訓(xùn)練，大大減少了計(jì)算時(shí)間。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的稠密光流估計(jì)方法。

背景技術(shù)

光流估計(jì)是計(jì)算機(jī)視覺領(lǐng)域內(nèi)的一個(gè)重要基礎(chǔ)模塊，其研究目的是通過建模計(jì)算出視頻連續(xù)兩幀間的運(yùn)動信息，具體就是第一幀中每個(gè)像素在第二幀中的對應(yīng)匹配像素。經(jīng)過三十多年的發(fā)展，光流估計(jì)問題已經(jīng)有非常多的相關(guān)研究，但在真實(shí)世界視頻里的魯棒光流估計(jì)仍然是個(gè)富有挑戰(zhàn)性的問題。

光流估計(jì)根據(jù)所采用的方法的不同，大體可以分為兩種：一種是基于Horn和Schunck提出的變分能量優(yōu)化模型，一種是基于匹配的插值優(yōu)化模型。基于變分能量優(yōu)化模型的算法雖然能夠在小位移光流估計(jì)中取得非常精確的結(jié)果，但這種方法通常會在有大位移運(yùn)動物體的場景下失敗。基于匹配的插值優(yōu)化模型主要利用了在大位移運(yùn)動中，兩幀之間視覺關(guān)鍵點(diǎn)的匹配信息對光流估計(jì)結(jié)果的重要性。以一種相對稠密的匹配結(jié)果作為光流估計(jì)的初始值，可以很好的解決傳統(tǒng)變分能量優(yōu)化模型存在的問題。然而，基于匹配的插值優(yōu)化模型主要問題在于計(jì)算稠密匹配需要相當(dāng)大的代價(jià)，并且其匹配結(jié)果的精度也直接影響到最終光流估計(jì)的效果。針對這種問題，本發(fā)明提出一種新的適用于大位移光流估計(jì)的稠密匹配算法，可以高效地得到精確的匹配信息光流估計(jì)是計(jì)算機(jī)視覺的重要研究方向之一，近年來，光流估計(jì)越來越受到國內(nèi)外學(xué)者的關(guān)注，是計(jì)算機(jī)視覺領(lǐng)域中的研究熱點(diǎn)。

申請公布號為CN105809712A的專利，公開了一種高效大位移光流估計(jì)方法：從視頻里獲取兩張連續(xù)圖像，將兩幀圖像按時(shí)間順序分別標(biāo)記為I1和I2；以I1和I2為最底層分別構(gòu)造圖像金字塔和在圖像金字塔的每層上生成相同數(shù)目的種子點(diǎn)，并將最頂層上的種子點(diǎn)的匹配初始化為隨機(jī)值；將獲得的種子點(diǎn)在由圖像金字塔依次從頂層到底層逐層進(jìn)行匹配，每層種子點(diǎn)的匹配結(jié)果作為下一層相應(yīng)種子點(diǎn)的初始值；將最底層種子點(diǎn)的匹配結(jié)果利用對邊緣敏感的插值算法進(jìn)行插值，將插值結(jié)果作為光流估計(jì)的初始值，然后利用變分能量優(yōu)化模型進(jìn)行優(yōu)化，最終得到大位移光流估計(jì)結(jié)果。但該方法計(jì)算量大，效率不高。

從上面來看，傳統(tǒng)的光流估計(jì)模型使用的是變分框架，在能量泛函中定義數(shù)據(jù)項(xiàng)平滑項(xiàng)等約束，通過極小化能量泛函的方式求取光流。該方法不能利用先驗(yàn)知識，并且此種方法在求解過程中往往需要較多的迭代次數(shù)，計(jì)算時(shí)間較長，無法達(dá)到較高的計(jì)算速度。所以傳統(tǒng)方法很難達(dá)到實(shí)際場景的應(yīng)用需求。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供計(jì)算時(shí)間少，計(jì)算速度快，能夠有效地利用先驗(yàn)知識的一種基于卷積神經(jīng)網(wǎng)絡(luò)的稠密光流估計(jì)方法。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：

一種基于卷積神經(jīng)網(wǎng)絡(luò)的稠密光流估計(jì)方法，包含如下步驟：

(1)提取運(yùn)動圖像信息：