[發(fā)明專利]一種用于攝錄設(shè)備的高速多路實(shí)時(shí)穩(wěn)像方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011173340.6
• 申請(qǐng)日: 2020-10-28
• 公開(kāi)（公告）號(hào): CN112287819A
• 公開(kāi)（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 劉志勇
• 申請(qǐng)（專利權(quán)）人: 武漢三力通信有限責(zé)任公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;H04N19/527;H04N19/80
• 代理公司: 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 11340
• 代理人: 楊文錄

本發(fā)明公開(kāi)了一種用于攝錄設(shè)備的高速多路實(shí)時(shí)穩(wěn)像方法，涉及圖像處理領(lǐng)域，該方法包括以下步驟：建立按時(shí)間線緩存的視頻幀隊(duì)列，所述視頻幀隊(duì)列包括n幀按拍攝時(shí)間先后順序排列的圖像，將n幀圖像灰度化，計(jì)算得到的首幀圖像的強(qiáng)角點(diǎn)，其他幀相對(duì)首幀進(jìn)行光流計(jì)算得到強(qiáng)角點(diǎn)的對(duì)應(yīng)點(diǎn)，幀間全局運(yùn)動(dòng)矢量估計(jì)，選用Affine仿射變換運(yùn)動(dòng)模型表征視頻幀間的運(yùn)動(dòng)，采用RANSAC算法進(jìn)行隨機(jī)采樣，得到n幀相鄰圖像的運(yùn)動(dòng)變換矩陣，通過(guò)幀間Kalman運(yùn)動(dòng)濾波獲取意向運(yùn)動(dòng)，通過(guò)仿射變換矩陣的計(jì)算方法獲取穩(wěn)像結(jié)果，進(jìn)行視頻幀補(bǔ)償，輸出穩(wěn)像結(jié)果。本發(fā)明成本較低，且計(jì)算效率較高。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種用于攝錄設(shè)備的高速多路實(shí)時(shí)穩(wěn)像方法。

背景技術(shù)

攝錄設(shè)備(如手機(jī))在拍攝視頻時(shí)，會(huì)因?yàn)闄C(jī)械振動(dòng)或肌肉顫動(dòng)等原因造成視頻采集設(shè)備的載體發(fā)生不規(guī)則運(yùn)動(dòng)，尤其是在使用高倍放大的鏡頭時(shí)，輕微的機(jī)械震動(dòng)會(huì)引起圖像的劇烈抖動(dòng)，抖動(dòng)的視頻序列會(huì)導(dǎo)致諸多不良后果：人工觀測(cè)困難，極易引起視覺(jué)疲勞，導(dǎo)致后期的誤判和漏判，由于圖像細(xì)節(jié)不能清晰地表達(dá)真實(shí)場(chǎng)景，導(dǎo)致后期圖像處理難度較大；壓縮比降低，導(dǎo)致視頻采集后端的存儲(chǔ)空間開(kāi)銷變大；運(yùn)動(dòng)目標(biāo)的跟蹤識(shí)別困難，極易導(dǎo)致目標(biāo)的丟失。因此，數(shù)字穩(wěn)像技術(shù)的研究具有重要的現(xiàn)實(shí)意義。

當(dāng)前視頻穩(wěn)像技術(shù)分為四類：物理穩(wěn)像、光學(xué)穩(wěn)像、電子穩(wěn)像和數(shù)字穩(wěn)像，數(shù)字穩(wěn)像由于不依賴于任何額外的機(jī)械設(shè)備和光學(xué)元件，在體積、能耗、操作性等方面都遠(yuǎn)遠(yuǎn)優(yōu)于物理穩(wěn)像、光學(xué)穩(wěn)像、電子穩(wěn)像技術(shù)，成為視頻穩(wěn)像領(lǐng)域的重點(diǎn)研究方向。

數(shù)字視頻穩(wěn)像在應(yīng)用時(shí)，主要存在以下挑戰(zhàn)：實(shí)時(shí)性和去抖動(dòng)質(zhì)量，由于實(shí)時(shí)性和去抖動(dòng)質(zhì)量之間存在一定的制約關(guān)系，難以取得較好的平衡。

為提高視頻的去抖動(dòng)質(zhì)量，Matthias Grundmann等提出了基于電影拍攝美學(xué)原則的視頻穩(wěn)像方法：按照約束的L1最小化方法將原始雜亂的相機(jī)運(yùn)動(dòng)路徑優(yōu)化為恒定路徑(固定攝像機(jī))、恒定勻速路徑(平移或安裝在推車上的攝像機(jī))和恒定加速度的路徑(上面兩種路徑之間的轉(zhuǎn)化)三個(gè)部分，通過(guò)該方法穩(wěn)像后的視屏質(zhì)量較好，視覺(jué)觀賞效果較好，但是存在視頻幀裁剪尺寸較大，無(wú)法實(shí)時(shí)在線視頻穩(wěn)像的缺陷。

針對(duì)實(shí)時(shí)性的缺陷，Liu Shuaicheng等人提出的MeshFlow的運(yùn)動(dòng)場(chǎng)與經(jīng)驗(yàn)性權(quán)重因子結(jié)合的自適應(yīng)相機(jī)路徑優(yōu)化策略，該算法雖然能夠有效提高實(shí)時(shí)性，但是穩(wěn)像質(zhì)量較低，尤其是當(dāng)視頻存在卷簾效應(yīng)或者視頻中存在較大遮擋物時(shí)，視覺(jué)效果較差。

電子產(chǎn)品中對(duì)實(shí)時(shí)視頻穩(wěn)像的應(yīng)用需求較旺盛，但是，目前的穩(wěn)像方案均存在輸出質(zhì)量與價(jià)格難以兼顧的問(wèn)題，如4G執(zhí)法記錄儀等攝錄終端，隨著執(zhí)法人員的劇烈運(yùn)動(dòng)，在視頻拍攝中會(huì)不可避免的出現(xiàn)抖動(dòng)，而光學(xué)、機(jī)械穩(wěn)像的方式會(huì)顯著提高移動(dòng)終端的功耗、體積和重量，從而需要配置更多的電池和相應(yīng)的設(shè)施，導(dǎo)致成本較高，移動(dòng)難度較大，在實(shí)時(shí)遠(yuǎn)程視頻集中式執(zhí)法監(jiān)督過(guò)程中難以使用。

實(shí)時(shí)數(shù)字視頻穩(wěn)像存在單指令流多數(shù)據(jù)流計(jì)算密度較大的問(wèn)題，使用時(shí)通常進(jìn)行串行順序處理，效率較低，難以滿足實(shí)時(shí)性需求。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的在于提供一種用于攝錄設(shè)備的高速多路實(shí)時(shí)穩(wěn)像方法，成本較低，且計(jì)算效率較高，能夠滿足實(shí)時(shí)性需求。

為達(dá)到以上目的，本發(fā)明采取的技術(shù)方案是：

一種用于攝錄設(shè)備的高速多路實(shí)時(shí)穩(wěn)像方法，包括以下步驟：

S1、建立按時(shí)間線緩存的視頻幀隊(duì)列，所述視頻幀隊(duì)列包括n幀按拍攝時(shí)間先后順序排列的圖像；

S2、將n幀圖像灰度化；

S3、通過(guò)Good Features to Track強(qiáng)角點(diǎn)搜索算法計(jì)算得到的首幀圖像的強(qiáng)角點(diǎn)；

S4、其他幀相對(duì)首幀進(jìn)行光流計(jì)算得到強(qiáng)角點(diǎn)的對(duì)應(yīng)點(diǎn)；