[發(fā)明專(zhuān)利]一種基于特征光流信息的視覺(jué)特征點(diǎn)追蹤方法、裝置、存儲(chǔ)介質(zhì)及終端

有效

• 申請(qǐng)?zhí)枺?/td>: 202010779455.3
• 申請(qǐng)日: 2020-08-05
• 公開(kāi)（公告）號(hào): CN112132871B
• 公開(kāi)（公告）日: 2022-12-06
• 發(fā)明（設(shè)計(jì)）人: 向坤;唐榮富;閆野;徐登科
• 申請(qǐng)（專(zhuān)利權(quán)）人: 天津（濱海）人工智能軍民融合創(chuàng)新中心;中國(guó)人民解放軍軍事科學(xué)院國(guó)防科技創(chuàng)新研究院
• 主分類(lèi)號(hào): G06T7/269
• 分類(lèi)號(hào): G06T7/269;G06T7/246;G06N3/04
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

本發(fā)明公開(kāi)了一種基于特征光流信息的視覺(jué)特征點(diǎn)追蹤方法、裝置、存儲(chǔ)介質(zhì)及終端，所述方法包括：獲取圖像序列中的第一圖像幀和第二圖像幀；將所述第一圖像幀和第二圖像幀輸入預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)映射模型中，生成第一圖像幀和第二圖像幀的特征光流信息；基于所述第一圖像幀和第二圖像幀的特征光流信息追蹤所述第二圖像幀的特征點(diǎn)。因此，采用本申請(qǐng)實(shí)施例，可以通過(guò)特征光流信息進(jìn)行特征點(diǎn)的追蹤和匹配，從而提升追蹤點(diǎn)的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種基于特征光流信息的視覺(jué)特征點(diǎn)追蹤方法、裝置、存儲(chǔ)介質(zhì)及終端。

背景技術(shù)

光流(optical flow)，本質(zhì)上是三維場(chǎng)景下的物體運(yùn)動(dòng)投影到二維圖像平面上，表現(xiàn)出的像素點(diǎn)亮度變化。光流法是在計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)展起來(lái)的圖像運(yùn)動(dòng)分析技術(shù)，作為機(jī)器視覺(jué)領(lǐng)域的重要研究課題?；诠饬鞣ǖ倪\(yùn)動(dòng)分析是很多視覺(jué)任務(wù)的基礎(chǔ)。

目前的光流法主要包括HornSchunck(HS)和LucasKanade(LK)法。HS和LK方法的提出均基于一個(gè)最基本的假設(shè)，即同一個(gè)像素點(diǎn)在相鄰兩幀圖像內(nèi)所顯示的亮度(灰度值)是不變的。記一個(gè)在t時(shí)刻，位于坐標(biāo)點(diǎn)(x,y)處的像素點(diǎn)的灰度為I(x,y,t)，設(shè)t+dt時(shí)刻，它運(yùn)動(dòng)到坐標(biāo)點(diǎn)(x+dx,y+dy)處。由于灰度不變，可以得到灰度為I(x+dx,y+dy,t+dt)＝I(x,y,t)。由于在現(xiàn)實(shí)環(huán)境中，當(dāng)獲取的圖像序列面臨著明顯的光照變化或者三維場(chǎng)景中的物體有著較大的運(yùn)行狀態(tài)時(shí)，光流估計(jì)就會(huì)有著較大的誤差，從而影響追蹤視覺(jué)特征點(diǎn)的準(zhǔn)確性。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種基于特征光流信息的視覺(jué)特征點(diǎn)追蹤方法、裝置、存儲(chǔ)介質(zhì)及終端。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。

第一方面，本申請(qǐng)實(shí)施例提供了一種圖像特征光流信息生成方法，所述方法包括：

獲取圖像序列中的第一圖像幀和第二圖像幀；

將所述第一圖像幀和第二圖像幀輸入預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)映射模型中，生成第一圖像幀和第二圖像幀的特征光流信息。

可選的，所述獲取圖像序列中的第一圖像幀和第二圖像幀之前，還包括：

創(chuàng)建雙通道的圖像金字塔神經(jīng)網(wǎng)絡(luò)模型；

獲取預(yù)先采集的圖像數(shù)據(jù)樣本；

基于所述圖像數(shù)據(jù)樣本生成圖像數(shù)據(jù)樣本的真實(shí)光流信息圖；

利用所述圖像數(shù)據(jù)樣本的真實(shí)光流信息圖對(duì)所述圖像金字塔神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，生成神經(jīng)網(wǎng)絡(luò)映射模型。

可選的，所述基于所述圖像數(shù)據(jù)樣本生成圖像數(shù)據(jù)樣本的真實(shí)光流信息圖，包括：

獲取所述圖像數(shù)據(jù)樣本中各圖像幀；

將所述各圖像幀作為各圖像幀的背景圖；

將預(yù)設(shè)3D模型的不同位姿投影至所述各圖像幀的背景圖中，生成各圖像幀的第一相關(guān)圖像幀和第二相關(guān)圖像幀；

基于所述預(yù)設(shè)3D模型的不同位姿計(jì)算所述各圖像幀的第一相關(guān)圖像幀和第二相關(guān)圖像幀對(duì)應(yīng)的各像素點(diǎn)運(yùn)動(dòng)信息，生成各圖像幀的真實(shí)光流信息圖；

將所述各圖像幀的真實(shí)光流信息圖作為圖像數(shù)據(jù)樣本的真實(shí)光流信息圖。

第二方面，本申請(qǐng)實(shí)施例提供了一種基于特征光流信息的視覺(jué)特征點(diǎn)追蹤方法，所述方法包括：

獲取第一圖像幀和第二圖像幀的特征光流信息；

基于所述第一圖像幀和第二圖像幀的特征光流信息追蹤所述第二圖像幀的特征點(diǎn)。