[發(fā)明專利]影像穩(wěn)定方法及影像穩(wěn)定裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201110461302.5
• 申請(qǐng)日: 2011-12-30
• 公開(kāi)（公告）號(hào): CN103108108A
• 公開(kāi)（公告）日: 2013-05-15
• 發(fā)明（設(shè)計(jì)）人: 許宇鳳
• 申請(qǐng)（專利權(quán)）人: 財(cái)團(tuán)法人工業(yè)技術(shù)研究院
• 主分類(lèi)號(hào): H04N5/21
• 分類(lèi)號(hào): H04N5/21
• 代理公司: 北京律誠(chéng)同業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國(guó);梁揮

技術(shù)領(lǐng)域

本揭露是關(guān)于一種影像處理方法及影像處理裝置，且特別是關(guān)于一種影像穩(wěn)定方法及影像穩(wěn)定裝置。

背景技術(shù)

近來(lái)攝影機(jī)廣泛架設(shè)，除了運(yùn)用在監(jiān)控系統(tǒng)之外，亦大量應(yīng)用于車(chē)輛或飛機(jī)等移動(dòng)載具當(dāng)中。不論應(yīng)用領(lǐng)域如何，攝影機(jī)都暴露在易受外界因素影響的環(huán)境中，例如偶發(fā)的風(fēng)吹搖晃或來(lái)自移動(dòng)載具本身的晃動(dòng)，皆會(huì)導(dǎo)致攝影機(jī)所拍攝的影像內(nèi)容因搖晃而造成視覺(jué)上的困擾，除此之外更會(huì)影響后續(xù)影像分析的效能，因此影像穩(wěn)定遂成為影像處理技術(shù)當(dāng)中的重要課題。

順應(yīng)攝影機(jī)架設(shè)環(huán)境的不同，大致可分類(lèi)為固定式攝影機(jī)或移動(dòng)式攝影機(jī)。固定式攝影機(jī)的影像穩(wěn)定通常進(jìn)行簡(jiǎn)易的前景與背景比對(duì)，將前景出現(xiàn)的移動(dòng)量去除，意即達(dá)到完全停格的目標(biāo)即可。移動(dòng)式攝影機(jī)本身通常依循一平滑軌跡移動(dòng)，此平滑軌跡為使用者欲保留的移動(dòng)軌跡，不能去除。因此分離影像中的平滑軌跡移動(dòng)量與搖晃成分移動(dòng)量即為移動(dòng)式攝影機(jī)探討影像穩(wěn)定的關(guān)鍵議題。

針對(duì)估測(cè)平滑軌跡的方法，常見(jiàn)的作法有三大方向：第一個(gè)方向?yàn)槭褂脜?shù)式來(lái)近似所觀察到的不平滑軌跡，找尋參數(shù)式中近似效果最佳的參數(shù)。參數(shù)式可為平均化、線性或多項(xiàng)式等，一旦近似效果最佳的參數(shù)被決定后，平滑軌跡亦同時(shí)被決定，而觀察軌跡中超出此平滑軌跡的成分即被視為搖晃成分，須予以去除。

參數(shù)式的缺點(diǎn)有二。其一為模型的限定性，即根據(jù)運(yùn)動(dòng)模型的不同(如車(chē)輛與飛機(jī)的差別)，需事先選擇最適用的模型，若選擇出現(xiàn)差錯(cuò)即導(dǎo)致效果不佳。舉例來(lái)說(shuō)，如針對(duì)多項(xiàng)式軌跡難以用線性模型描述，此時(shí)若誤選線性模型則導(dǎo)致效果不佳。由此，運(yùn)動(dòng)模型的選擇容易耗費(fèi)許多人力與精神。另一為模型與參數(shù)的選定須兼顧平滑軌跡程度與近似程度的兩難，通常近似程度較高則無(wú)法達(dá)到良好的平滑效果。舉例而言，高階多項(xiàng)式的軌跡彎曲程度較高，較忠于攝影機(jī)本身的觀察軌跡，但平滑程度較低。相反地，平滑程度較高則易將攝影機(jī)本身的觀察軌跡一并去除。具上所述，如何選擇適當(dāng)?shù)哪Ｐ鸵约罢{(diào)整平滑軌跡程度與近似程度的參數(shù)實(shí)為一棘手問(wèn)題。

第二個(gè)方向?yàn)槭褂每鼮V波器(Kalman?Filter)來(lái)近似所觀察到的不平滑軌跡，利用過(guò)去時(shí)間點(diǎn)的數(shù)據(jù)特性來(lái)預(yù)估未來(lái)時(shí)間點(diǎn)的數(shù)據(jù)特性。換句話說(shuō)，即利用過(guò)去時(shí)間點(diǎn)的軌跡來(lái)預(yù)估未來(lái)可能的平滑軌跡，并將此平滑軌跡以外的搖晃成份去除。

卡曼濾波器的第一項(xiàng)缺點(diǎn)為過(guò)去時(shí)間點(diǎn)的數(shù)據(jù)特性不易完全預(yù)測(cè)未來(lái)時(shí)間點(diǎn)的數(shù)據(jù)特性，而影響估測(cè)的穩(wěn)定度。再者恰當(dāng)?shù)膮?shù)選擇亦是一問(wèn)題點(diǎn)，因?yàn)榇朔ū仨氃O(shè)定可容許的平滑振幅參數(shù)，若振幅愈小則愈平滑，但易去除攝影機(jī)本身的觀察軌跡；振幅愈大則愈忠于攝影機(jī)本身的觀察軌跡，但平滑效果受影響。因此如何設(shè)定恰當(dāng)?shù)钠交穹鶇?shù)亦為難解的棘手問(wèn)題。

第三個(gè)方向則為前景去除法，此方法主要分析影像內(nèi)容，將前景移動(dòng)量與背景移動(dòng)量分離。此方法因需對(duì)影像內(nèi)容做進(jìn)一步的運(yùn)算。此外，當(dāng)背景劇烈搖晃時(shí)，無(wú)法清楚區(qū)隔前景與背景移動(dòng)量，可用性相對(duì)受限。

綜上所述，一種可找尋攝影機(jī)適當(dāng)?shù)钠交壽E，并將風(fēng)吹搖晃、拍攝者的手震等外力因素所造成的搖晃成分去除的影像穩(wěn)定裝置及影像穩(wěn)定方法，實(shí)為本領(lǐng)域一待解決的問(wèn)題。

發(fā)明內(nèi)容

為解決上述問(wèn)題，本發(fā)明提出一種影像穩(wěn)定方法及影像穩(wěn)定裝置，利用特征點(diǎn)偵測(cè)法與追蹤，計(jì)算一單應(yīng)性轉(zhuǎn)換，藉以描述從一影像至下一影像的轉(zhuǎn)換關(guān)系，并且使兩相鄰校正后影像間的轉(zhuǎn)換關(guān)系具有一致性，進(jìn)而達(dá)到影像穩(wěn)定效果。

本揭露提出一種影像穩(wěn)定方法，其適于處理多數(shù)個(gè)待處理影像，影像穩(wěn)定方法包括下列步驟。先采用特征點(diǎn)偵測(cè)法對(duì)每一待處理影像進(jìn)行偵測(cè)，藉以偵測(cè)出每一待處理影像中的多數(shù)個(gè)特征點(diǎn)。并且分析在相鄰待處理影像中相同特征點(diǎn)的對(duì)應(yīng)關(guān)系。此外，依據(jù)這些特征點(diǎn)的對(duì)應(yīng)關(guān)系計(jì)算相鄰待處理影像間的單應(yīng)性(homography)轉(zhuǎn)換矩陣。再依據(jù)已知的每一待處理影像中的特征點(diǎn)與單應(yīng)性轉(zhuǎn)換矩陣計(jì)算穩(wěn)定矩陣與對(duì)應(yīng)每一待處理影像的調(diào)整矩陣。分別憑借調(diào)整矩陣對(duì)每一待處理影像進(jìn)行補(bǔ)償，藉以產(chǎn)生相對(duì)應(yīng)的多數(shù)個(gè)校正后影像。其中，相鄰校正后影像中的第一影像乘上相同的穩(wěn)定矩陣后轉(zhuǎn)換為相鄰校正后影像中的第二影像。