[發(fā)明專利]實(shí)時(shí)電子穩(wěn)像中基于運(yùn)動(dòng)狀態(tài)識(shí)別的運(yùn)動(dòng)補(bǔ)償方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200910081057.8
• 申請(qǐng)日: 2009-04-01
• 公開（公告）號(hào): CN101511024A
• 公開（公告）日: 2009-08-19
• 發(fā)明（設(shè)計(jì)）人: 趙丹培;馮昊;姜志國(guó);安萌
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;G06T7/20
• 代理公司: 北京慧泉知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 王順榮;唐愛華

1.一種實(shí)時(shí)電子穩(wěn)像中基于運(yùn)動(dòng)狀態(tài)識(shí)別的運(yùn)動(dòng)補(bǔ)償方法，其特征在于：其具體步驟如下：

步驟1.運(yùn)動(dòng)類型的似然函數(shù)訓(xùn)練

為了對(duì)拍攝場(chǎng)景的運(yùn)動(dòng)狀態(tài)和類型進(jìn)行識(shí)別，在穩(wěn)像前需要對(duì)運(yùn)動(dòng)類型的似然函數(shù)進(jìn)行訓(xùn)練；在下述步驟5中，采用最大后驗(yàn)概率方法對(duì)運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，每種狀態(tài)的似然函數(shù)必須通過樣本訓(xùn)練，具體實(shí)現(xiàn)過程如下：

(1)、采集訓(xùn)練的視頻樣本

針對(duì)其應(yīng)用背景，如車載、機(jī)載、手持設(shè)備，采集所需訓(xùn)練樣本，對(duì)該應(yīng)用背景分別采集掃描和凝視兩種拍攝類型的視頻樣本，視頻樣本為僅存在一種運(yùn)動(dòng)類型的視頻片斷；

(2)、幀間運(yùn)動(dòng)估計(jì)與拍攝狀態(tài)標(biāo)記

采用基于極性布局特征描述子的實(shí)時(shí)運(yùn)動(dòng)估計(jì)方法對(duì)訓(xùn)練樣本進(jìn)行幀間運(yùn)動(dòng)估計(jì)，并記錄每一幀的幀間運(yùn)動(dòng)估計(jì)參數(shù)；幀間運(yùn)動(dòng)參數(shù)包括垂直運(yùn)動(dòng)、水平運(yùn)動(dòng)和旋轉(zhuǎn)運(yùn)動(dòng)，具體步驟為：

①、構(gòu)造高斯尺度空間，提取特征點(diǎn)；

②、構(gòu)建極性布局特征描述子；

③、局部特征點(diǎn)匹配；

④、計(jì)算幀間運(yùn)動(dòng)模型，求出幀間運(yùn)動(dòng)估計(jì)參數(shù)；

(3)、計(jì)算線性擬和參數(shù)

設(shè)第i組訓(xùn)練樣本由m幀組成，設(shè)運(yùn)動(dòng)軌跡與幀序號(hào)呈線性關(guān)系，即通過下式表示：

用最小二乘解上述方程，得到擬和參數(shù)α_i和b_i，其中y_i是由運(yùn)動(dòng)估計(jì)得到的幀間運(yùn)動(dòng)參數(shù)；

(4)、計(jì)算似然函數(shù)參數(shù)

按照下述步驟5中的定義，在穩(wěn)像前需要分別計(jì)算每個(gè)類別ω_c的兩個(gè)似然函數(shù)p(a|ω_c)和p(b|ω_c)的參數(shù)，即：

p(a|ω_c＝′凝視′)＝N(0，σ_{stable，a})

p(b|ω_c＝′凝視′)＝N(0，σ_{stable，b})

p(a|ω_c＝′掃描′)＝N(0，σ_stable，a)

其中，似然函數(shù)采用高斯函數(shù)和對(duì)數(shù)高斯函數(shù)，其參數(shù)是均值μ和方差σ²；步驟2.建立運(yùn)動(dòng)補(bǔ)償模型

定義視頻場(chǎng)景的運(yùn)動(dòng)模型，其中x_n是當(dāng)前幀圖像相對(duì)于輸出窗口的絕對(duì)位置參數(shù)；x_n-1是上一幀相當(dāng)于輸出窗口的絕對(duì)位置參數(shù)；err(n)是需要進(jìn)行補(bǔ)償?shù)倪\(yùn)動(dòng)部分；兩幀之間的位置關(guān)系如下：

x_n＝x_n-1+err(n)

定義運(yùn)動(dòng)補(bǔ)償模型為：

err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)

其中wrap(n)是幀間運(yùn)動(dòng)所引起的抖動(dòng)分量，對(duì)應(yīng)于隨機(jī)抖動(dòng)所引起的退化，具體數(shù)值由運(yùn)動(dòng)估計(jì)中的圖像配準(zhǔn)方法計(jì)算得出；wrap(n)是穩(wěn)像系統(tǒng)中必須去除的運(yùn)動(dòng)成分；

motion(n)是由攝像機(jī)載體引起的理想運(yùn)動(dòng)，通過分析幀間配準(zhǔn)參數(shù)就能得到攝像機(jī)運(yùn)動(dòng)的方向和運(yùn)動(dòng)速度，可以對(duì)攝像機(jī)的運(yùn)動(dòng)進(jìn)行補(bǔ)償；

departure(n)為偏離補(bǔ)償部分，該部分使輸出圖像始終保持在窗口中心位置，能夠及時(shí)糾正緩慢的圖像飄移；在凝視狀態(tài)下，由于拍攝的不穩(wěn)定性以及算法的積累誤差，存在視點(diǎn)緩慢偏離輸出窗口的飄移現(xiàn)象，使視頻中大量數(shù)據(jù)丟失而無(wú)法及時(shí)得到糾正，而利用該補(bǔ)償部分則可以很好解決這一問題；

α，β，γ為針對(duì)各種補(bǔ)償?shù)臋?quán)重，用于衡量每一項(xiàng)對(duì)總體運(yùn)動(dòng)補(bǔ)償err(n)的影響比例；

步驟3.計(jì)算當(dāng)前幀圖像輸出位置相對(duì)于窗口中心點(diǎn)的偏移量

輸出窗口與輸出圖像位置的距離代表了偏移的程度，為保證圖像參數(shù)的運(yùn)動(dòng)曲線保持平滑，所有圖像幀都必須進(jìn)行偏差糾正，將departure(n)定義為輸出視頻與輸出窗口偏差的絕對(duì)值，偏差糾正的權(quán)重由參數(shù)γ決定：

γ=1threshold-abs(departure)0≤γ≤1]]>

式中threshold定義了邊界閾值，即偏離限制在threshold范圍內(nèi)，且

threshold>abs(departure)×2，threshold的取值與圖像的大小有關(guān)；

步驟4.對(duì)運(yùn)動(dòng)分量濾波，計(jì)算理想運(yùn)動(dòng)參數(shù)和線性擬和參數(shù)

定義為幀間變換矩陣，若t為當(dāng)前幀要平滑圖像的幀號(hào)，定義它的相鄰幀集合為N＝{j：t-k≤j≤t+k}，相鄰幀與當(dāng)前幀圖像的變換矩陣為，則當(dāng)前幀圖像平滑后的變換矩陣motion(n)表示為：

Motion(n)=Σi∈NTti*G(k)]]>

這里G(k)=12πδe-k2/2δ2]]>是高斯核函數(shù)，motion(n)是去除了高頻抖動(dòng)的理想運(yùn)動(dòng)軌跡，反映的是攝像機(jī)載體的理想運(yùn)動(dòng)；

步驟5.識(shí)別當(dāng)前幀圖像的運(yùn)動(dòng)狀態(tài)，設(shè)置運(yùn)動(dòng)補(bǔ)償參數(shù)

抖動(dòng)補(bǔ)償系數(shù)α和理想運(yùn)動(dòng)補(bǔ)償系數(shù)β通過識(shí)別的方法確定，不同的運(yùn)動(dòng)形式如靜止、勻速運(yùn)動(dòng)和變速運(yùn)動(dòng)決定了不同的補(bǔ)償系數(shù)，用戶所提供的訓(xùn)練樣本是在應(yīng)用背景下拍攝含有抖動(dòng)而不包含拍攝場(chǎng)景運(yùn)動(dòng)的視頻圖像序列，用以計(jì)算抖動(dòng)的統(tǒng)計(jì)特征；本發(fā)明利用相鄰幀運(yùn)動(dòng)估計(jì)參數(shù)來(lái)擬合線性函數(shù)，將線性函數(shù)的參數(shù)作為樣本，函數(shù)參數(shù)不但體現(xiàn)了運(yùn)動(dòng)狀態(tài)，也體現(xiàn)了運(yùn)動(dòng)變化的趨勢(shì)；

對(duì)于第i組樣本，樣本由m幀幀間運(yùn)動(dòng)估計(jì)參數(shù)擬合線性函數(shù)得到，它們與時(shí)間的線性關(guān)系如公式：

用最小二乘法解上述方程，得到參數(shù)斜率α_i和截距b_i；a_i體現(xiàn)了運(yùn)動(dòng)趨勢(shì)，b_i是運(yùn)動(dòng)幅度；由最大后驗(yàn)概率(MAP)推導(dǎo)出：

C=argmaxc=1,2,3p(ωc|a,b)=argmaxc=1,2,3p(a,b|ωc)p(ωc)]]>

其中C是類別；由于運(yùn)動(dòng)的趨勢(shì)a和幅度b是相互獨(dú)立的，則有：

C=argmaxc=1,2,3p(ωc|a,b)]]>

=argmaxc=1,2,3p(a,b|ωc|)p(ωc)]]>

=argmaxc=1,2,3p(a|ωc)p(b|ωc)p(ωc)]]>

若抖動(dòng)是均值為0的高斯噪聲，則固定拍攝狀態(tài)的似然函數(shù)定義為：

p(a|ω_c＝′凝視′)＝N(0，σ_stable，a)

p(b|ω_c＝′凝視′)＝N(0，σ_stable，b)

穩(wěn)像系統(tǒng)所滿足的應(yīng)用背景與攝像機(jī)載體和攝像機(jī)自身配置有關(guān)，對(duì)于勻速運(yùn)動(dòng)拍攝，其載體速度有限，載體的運(yùn)動(dòng)速度不可能無(wú)限大，速度越大的運(yùn)動(dòng)發(fā)生概率也就越?。惠^大的運(yùn)動(dòng)速度會(huì)造成運(yùn)動(dòng)模糊，無(wú)法用于穩(wěn)像；因此，不同載體的運(yùn)動(dòng)速度通常集中在一定范圍內(nèi)，因此采用混合對(duì)數(shù)正態(tài)分布表示運(yùn)動(dòng)幅度的似然函數(shù)，μ是平均運(yùn)動(dòng)速度；

p(a|ω_c＝′掃描′)＝N(0，σ_{stable，a})

根據(jù)運(yùn)動(dòng)狀態(tài)設(shè)置運(yùn)動(dòng)補(bǔ)償系數(shù)和抖動(dòng)補(bǔ)償系數(shù)，ω_c＝′凝視′時(shí)只需要補(bǔ)償抖動(dòng)，即α＝1，β＝0；在掃描拍攝狀態(tài)下時(shí)，除了需要補(bǔ)償抖動(dòng)外，還需要對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償，則α＝1，β＝1；

步驟6.根據(jù)三階段運(yùn)動(dòng)補(bǔ)償量，計(jì)算當(dāng)前幀圖像輸出的位置

通過計(jì)算得到運(yùn)動(dòng)補(bǔ)償函數(shù)的各個(gè)參數(shù)后，按照下面公式計(jì)算出當(dāng)前幀的輸出位置：

x_n＝x_n-1+err(n)

其中x_n是當(dāng)前幀相對(duì)于輸出窗口的絕對(duì)位置參數(shù)；x_n-1是上一幀相當(dāng)于輸出窗口的絕對(duì)運(yùn)動(dòng)參數(shù)；err(n)是兩幀圖像之間的運(yùn)動(dòng)補(bǔ)償函數(shù)；當(dāng)前幀圖像輸出的位置就是運(yùn)動(dòng)參數(shù)x_n的輸出值。