[發明專利]一種道路場景視頻圖像序列的背景修復方法

有效

• 申請號: 201410239942.5
• 申請日: 2014-05-30
• 公開（公告）號: CN104021525B
• 公開（公告）日: 2017-02-08
• 發明（設計）人: 劉躍虎;李垚辰;蘇遠歧;楊旸;張馳
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08
• 代理公司: 西安智大知識產權代理事務所61215
• 代理人: 何會俠

1.一種道路場景視頻圖像序列的背景修復方法，其特征在于：首先計算當前幀到鄰近幀的光流圖，然后基于高斯過程回歸計算缺失光流圖區域中的散點，用于光流預測的初始化；經過光流預測初始化，再使用三層BP神經網絡實現逐列光流預測；然后進行圖像修復，在圖像修復階段，利用光流初始化和光流預測將當前幀缺失區域內像素對應到鄰近幀背景區域，利用高斯混合模型實現圖像修復；具體包括如下步驟：

步驟1：初始化階段，基于高斯過程回歸計算缺失光流圖區域中的散點，包括如下步驟：

1)數據訓練，訓練數據集從光流圖背景區域以半徑R采樣，定義為：

T=x1,...,xNy1,...,yN---(1)]]>

其中：x₁,...,x_N指N個二維光流圖坐標，即橫坐標和縱坐標，y₁,...,y_N指N個二維光流圖坐標對應的光流值；

基于訓練數據集，N×N的協方差矩陣K中每個元素定義為[K]_ij＝K(x_i,x_j)，其中：

K(x_i,x_j)＝E[(f(x_i)-m(x_i))(f(x_j)-m(x_j))]＝E[f(x_i)f(x_j)]???????(2)

其中：f(x)為x位置處的光流值，E代表期望，m(x)＝E(f(x))＝0；

基于光流值，觀測向量被定義為y＝[y₁,...,y_N]^T，y視作零均值多變元高斯過程，y的協方差矩陣為：

K^*＝K+σ²I?????????????????(3)

其中：K為訓練數據集的協方差矩陣，σ²為正態分布的方差，I為單位矩陣；

2)對于待預測散點x^*，其后驗密度p(y^*|x^*,T)為單元正態分布，均值為方差為var(y^*)：

y‾*=k'(x*)T(k*)-1y---(4)]]>

var(y^*)＝K^'(x^*,x^*)-k^'(x^*)^T(K^*)^-1k^'(x^*)??????????(5)

其中：k^'(x^*)＝[K^'(x^*,x₁),...,K^'(x^*,x_n)]^T??????????(6)

其中：K^'()為高斯ARD核函數，k^'()為預測數據集的協方差矩陣，y為觀測向量；

步驟2：使用三層BP神經網絡實現逐列光流預測，其中的數據訓練使用了Levenberg-Marquardt方法，訓練數據包括兩部分：

a、初始化階段計算所得的缺失光流區域內的散點；

b、缺失光流圖區域外同一列的背景光流；

步驟3：基于高斯混合模型的圖像修復：經過了光流修補階段即步驟1散點的計算和步驟2逐列光流預測，認為缺失前景的光流與背景的光流信息保持一致；對于缺失圖像區域內的每一像素x，分別將其對應到臨近的k幀，建立隨機過程：

{s_i∶s_i＝I_B(x,i),1≤i≤k}??????????(5)

其中：I_B(x,i)為第i幀對應于x坐標處的顏色值；

x坐標處對應顏色值的歷史信息由N個高斯分布加以描述，其中觀測當前像素值的概率為：

p(si)=Σj=1Nωj,iη(si,μj,i,σj,i2)---(6)]]>

其中：N為高斯分布的數目，ω_j,i為第i幀中第j個高斯分布的權重，η為對應的高斯概率密度函數，其均值為μ_j,i，方差為

每當新的一幀被添加，高斯混合模型都會被更新，當k個鄰近幀被比較之后，具有最大權值和最小方差的高斯分布被選取，其均值作為x坐標處的顏色信息。