[發(fā)明專利]一種道路場景視頻圖像序列的背景修復(fù)方法

有效

• 申請?zhí)枺?/td>: 201410239942.5
• 申請日: 2014-05-30
• 公開（公告）號: CN104021525B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設(shè)計）人: 劉躍虎;李垚辰;蘇遠歧;楊旸;張馳
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08
• 代理公司: 西安智大知識產(chǎn)權(quán)代理事務(wù)所61215
• 代理人: 何會俠

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理、計算機視覺及模式識別技術(shù)領(lǐng)域，具體涉及一種道路場景視頻圖像序列的背景修復(fù)方法。

背景技術(shù)

基于視頻圖像序列的場景修復(fù)，在圖像處理、計算機視覺及模式識別領(lǐng)域具有重要的應(yīng)用，在一些實際應(yīng)用，如全景圖像生成問題，需要移除源圖像中的前景物體，生成由單一背景圖像拼接而成的場景圖像；在基于圖像渲染的場景模型建立問題中，需要將源圖像中的前背景信息予以分離，分別進行建模。Wexler方法通過對視頻臨近幀可用部分圖像塊的時空采樣來實現(xiàn)當(dāng)前幀缺失區(qū)域的修補(參考Wexler的方法：Wexler?Y,Shechtman?E,Irani?M.Space-time?completion?of?video[J].IEEE?Transactions?on?Pattern?Analysis?and?Machine?Intelligence,2007,29(2):463-476)。然而該方法主要適用于靜態(tài)背景條件下的視頻圖像序列中前景去除與背景修復(fù)，而且實現(xiàn)復(fù)雜，將圖像修復(fù)看作全局優(yōu)化問題，提出新的算法來優(yōu)化定義好的目標(biāo)方程。Hsu方法在運動前景條件下生成背景視頻幀的圖像拼接(參考Hsu的方法:Hsu?Y,Tsan?YC.Mosaics?of?video?sequences?with?moving?objects[J].Signal?Processing:Image?Communication,2004,19(1):81-98)。然而該方法需要估計全局運動信息，基于特征的方法獲得八個投影參數(shù)，計算較為復(fù)雜。

發(fā)明內(nèi)容

為了解決上述現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的在于提供一種道路場景視頻圖像序列的背景修復(fù)方法，針對運動背景條件下的視頻圖像序列，基于光流信息實現(xiàn)當(dāng)前幀缺失前景區(qū)域像素到鄰近幀背景像素的對應(yīng)，有效實現(xiàn)道路場景視頻圖像序列中缺失運動前景區(qū)域的圖像修復(fù)，方法簡單有效。

為了實現(xiàn)上述發(fā)明目的，本發(fā)明采取的技術(shù)方案是：

一種道路場景視頻圖像序列的背景修復(fù)方法，首先計算當(dāng)前幀到鄰近幀的光流圖，然后基于高斯過程回歸計算缺失光流圖區(qū)域中的散點，用于光流預(yù)測的初始化；經(jīng)過光流預(yù)測初始化，再使用三層BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)逐列光流預(yù)測；然后進行圖像修復(fù)，在圖像修復(fù)階段，利用光流初始化和光流預(yù)測將當(dāng)前幀缺失區(qū)域內(nèi)像素對應(yīng)到鄰近幀背景區(qū)域，利用高斯混合模型實現(xiàn)圖像修復(fù)；具體包括如下步驟：

步驟1：初始化階段，基于高斯過程回歸計算缺失光流圖區(qū)域中的散點，包括如下步驟：

1)數(shù)據(jù)訓(xùn)練，訓(xùn)練數(shù)據(jù)集從光流圖背景區(qū)域以半徑R采樣，定義為：

T=x1,...,xNy1,...,yN---(1)]]>

其中：x₁,...,x_N指N個二維光流圖坐標(biāo)，即橫坐標(biāo)和縱坐標(biāo)，y₁,...,y_N指N個二維光流圖坐標(biāo)對應(yīng)的光流值；

基于訓(xùn)練數(shù)據(jù)集，N×N的協(xié)方差矩陣K中每個元素定義為[K]_ij＝K(x_i,x_j)，其中：