[發(fā)明專(zhuān)利]一種針對(duì)多視頻序列的運(yùn)動(dòng)推斷結(jié)構(gòu)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210069008.4
• 申請(qǐng)日: 2012-03-15
• 公開(kāi)（公告）號(hào): CN102663772A
• 公開(kāi)（公告）日: 2012-09-12
• 發(fā)明（設(shè)計(jì)）人: 章國(guó)鋒;鮑虎軍;劉浩敏
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06T7/20
• 分類(lèi)號(hào): G06T7/20;G06T7/00
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 張法高

1.一種針對(duì)多視頻序列的運(yùn)動(dòng)推斷結(jié)構(gòu)方法，其特征在于它的步驟如下：

1)基于SIFT特征描述量，使用連續(xù)特征跟蹤算法和非連續(xù)特征匹配算法，匹配分布于不同圖像上對(duì)應(yīng)于相同場(chǎng)景點(diǎn)的SIFT特征點(diǎn)；

2)基于匹配分布于不同圖像上對(duì)應(yīng)于相同場(chǎng)景點(diǎn)的SIFT特征點(diǎn)，使用運(yùn)動(dòng)推斷結(jié)構(gòu)算法，恢復(fù)各視頻序列相應(yīng)的子圖，并將各視頻序列相應(yīng)的子圖注冊(cè)到統(tǒng)一的坐標(biāo)系下；

3)使用基于分段的漸進(jìn)式優(yōu)化算法，迭代地將各視頻序列相應(yīng)的子圖中存在的誤差擴(kuò)散并消除。

2.根據(jù)權(quán)利要求1所述的一種針對(duì)多視頻序列的運(yùn)動(dòng)推斷結(jié)構(gòu)方法，其特征在于所述的步驟1)為：

(1)使用Lowe，D.G.：Distinctive?image?features?from?scale-invariant?keypoints.International?Journal?of?Computer?Vision?60，91-110(2004)中提出的SIFT算法，為每個(gè)視頻序列的每幀圖像提取SIFT特征點(diǎn)，并為每個(gè)SIFT特征點(diǎn)x計(jì)算一個(gè)SIFT描述量，標(biāo)記為p(x)；

(2)使用Zhang?G，Dong?Z，Jia?J，Wong?TT，Bao?H(2010)Efficient?non-consecutive?feature?tracking?for?structure-from-motion.In：ECCV(5)，pp?422-435中提出的連續(xù)幀特征跟蹤算法為每個(gè)視頻序列分別進(jìn)行特征跟蹤得到一系列特征跟蹤軌跡，每條特征跟蹤軌跡χ定義為對(duì)應(yīng)某場(chǎng)景點(diǎn)的SIFT特征點(diǎn)的集合，χ＝{x_t|t∈f(χ)}其中x_t為第t幀圖像中對(duì)應(yīng)于該場(chǎng)景點(diǎn)的SIFT特征點(diǎn)位置，f(χ)為χ跨越的連續(xù)幀集合；

(3)使用基于匹配矩陣的特征軌跡匹配算法為每個(gè)視頻序列匹配分布于非相鄰子序列上的特征跟蹤軌跡，并將所有視頻序列首尾相鄰形成一段虛擬序列，再次使用基于匹配矩陣的特征軌跡匹配算法為虛擬序列匹配分布于非相鄰子序列上的特征跟蹤軌跡。

3.根據(jù)權(quán)利要求2所述的一種針對(duì)多視頻序列的運(yùn)動(dòng)推斷結(jié)構(gòu)方法，其特征在于步驟(3)中所述的基于匹配矩陣的特征軌跡匹配算法為：

①使用Zhang?G，Dong?Z，Jia?J，Wong?TT，Bao?H(2010)Efficient?non-consecutive?feature?tracking?for?structure-from-motion.In：ECCV(5)，pp?422-435中提出的匹配矩陣估計(jì)算法為輸入序列估計(jì)一個(gè)匹配矩陣，標(biāo)記為M，將M中最大元素值記為M_max；

②令k＝0，選擇具有最大M(t₁，t₂)的幀對(duì)，標(biāo)記為將M中以為中心3為半徑的區(qū)域置0，使用Lowe，D.G.：Distinctive?image?features?from?scale-invariant?keypoints.International?Journal?of?Computer?Vision?60，91-110(2004)中提出的SIFT匹配算法匹配得到間的特征點(diǎn)匹配集合，標(biāo)記為由構(gòu)造特征軌跡匹配集合C_χ：

C_χ＝{(χ₁，χ₂)|(x₁，x₂)∈C_x，x₁∈χ₁，x₂∈χ₂}

及幀對(duì)集合C_f：

C_f＝{(t₁，t₂)|M(t₁，t₂)≠0，t₁∈f(χ₁)，t₂∈f(χ₂)，(χ₁，χ₂)∈C_χ}

使用Richard?I.Hartley：In?Defense?of?the?Eight-Point?Algorithm.IEEE?Trans.Pattern?Anal.Mach.Intell.19(6)：580-593(1997)提出的基礎(chǔ)矩陣估計(jì)算法由集合為估計(jì)3x3的基礎(chǔ)矩陣，標(biāo)記為為C_χ中的每個(gè)特征軌跡匹配(χ₁，χ₂)設(shè)置一個(gè)誤差量和計(jì)數(shù)器

e(χ1,χ2)=d(Ft1(0),t2(0),x1(0),x2(0))2]]>

N(χ1,χ2)=1]]>

其中分別為χ₁、χ₂在第幀圖像中對(duì)應(yīng)的特征點(diǎn)位置，d(F，x₁，x₂)表示點(diǎn)x₂到直線(xiàn)間的距離，表示一個(gè)二維點(diǎn)x的齊次坐標(biāo)為C_f中的每個(gè)幀對(duì)(t₁，t₂)設(shè)置一個(gè)計(jì)數(shù)器

Nt1,t2=|{(χ1,χ2)|t1∈f(χ1),t2∈f(χ2),(χ1,χ2)∈Cχ}|]]>

③令k＝k+1，選擇具有最大且M(t₁，t₂)≠0的幀對(duì)，標(biāo)記為將M中以為中心3為半徑的區(qū)域置0，在C_χ中找到已匹配上的間的特征點(diǎn)集合，標(biāo)記為

Cx(k)={(x1,x2)|x1∈χ1,x2∈χ2,(χ1,χ2)∈Cχ}]]>

使用Richard?I.Hartley：In?Defense?of?the?Eight-Point?Algorithm.IEEE?Trans.Pattern?Anal.Mach.Intell.19(6)：580-593(1997)提出的基礎(chǔ)矩陣估計(jì)算法由集合為估計(jì)3x3的基礎(chǔ)矩陣，標(biāo)記為更新C_χ中的每個(gè)特征軌跡匹配(χ₁，χ₂)的誤差量和計(jì)數(shù)器

e(χ1,χ2)=e(χ1,χ2)+d(Ft1(k),t2(k),x1(k),x2(k))2]]>

N(χ1,χ2)=N(χ1,χ2)+1]]>

其中分別為χ₁、χ₂在第幀圖像中對(duì)應(yīng)的特征點(diǎn)位置；

④使用Zhang?G，Dong?Z，Jia?J，Wong?TT，Bao?H(2010)Efficient?non-consecutive?feature?tracking?for?structure-from-motion.In：ECCV(5)，pp?422-435中提出的平面運(yùn)動(dòng)分割算法由集合為估計(jì)若干個(gè)3x3的單應(yīng)矩陣，標(biāo)記為H₁，Λ，N_H為這樣的單應(yīng)矩陣的個(gè)數(shù)，對(duì)每個(gè)第幀中尚未匹配上的特征點(diǎn)x₁，用H₁，Λ，進(jìn)行測(cè)試，將x₁經(jīng)過(guò)第i個(gè)平面運(yùn)動(dòng)后的位置標(biāo)記為這里H_i為第i個(gè)單應(yīng)矩陣，將第幀圖像中以為中心，2為半徑的區(qū)域內(nèi)的所有尚未匹配上的特征點(diǎn)x₂都作為x₁的候選匹配，當(dāng)N_H個(gè)平面運(yùn)動(dòng)均測(cè)試完畢后，將x₁的所有候選匹配構(gòu)成的集合標(biāo)記為選出中與x₁的SIFT描述量最為相近的特征點(diǎn)，標(biāo)記為

x2*=arg minx2∈Tx1||p(x1)-p(x2)||2]]>

若則將視作一個(gè)新的特征點(diǎn)匹配，對(duì)應(yīng)的特征軌跡匹配為(χ₁，χ₂)，x₁∈χ₁，設(shè)置(χ₁，χ₂)的誤差量和計(jì)數(shù)器

e(χ1,χ2)=d(Ft1(k),t2(k),x1,x2*)2]]>

N(χ1,χ2)=1]]>

更新C_χ、C_f、

C_χ＝Cχ_Y{(χ₁，χ₂)}

C_f＝C_fY{(t₁，t₂)|t₁∈f(χ₁)，t₂∈f(χ₂)}

Nt1,t2=Nt1,t2+1,∀t1∈f(χ1),∀t2∈f(χ2)]]>

⑤重復(fù)步驟③、步驟④，直至對(duì)C_χ中的每個(gè)(χ₁，χ₂)，若將(χ₁，χ₂)合并成一條特征軌跡；

⑥重復(fù)步驟②～步驟⑤，直至M中所有元素值均小于0.2M_max。