[發(fā)明專利]一種基于稀疏冗余表示模型的視頻幀率上轉(zhuǎn)換方法

有效

• 申請?zhí)枺?/td>: 201610335408.3
• 申請日: 2016-05-18
• 公開（公告）號: CN105847804B
• 公開（公告）日: 2017-12-15
• 發(fā)明（設(shè)計(jì)）人: 李然;郭華平;董喜雙;劉宏兵
• 申請（專利權(quán)）人: 信陽師范學(xué)院
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/139;H04N19/587;H04N19/176;H04N19/513;H04N7/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于稀疏冗余表示模型的視頻幀率上轉(zhuǎn)換方法，其特征在于該方法包括：雙向光流場提純、光流場平滑、稀疏重建模型構(gòu)造、正則化參數(shù)估計(jì)以及字典學(xué)習(xí)；

雙向光流場提純方法為，根據(jù)運(yùn)動(dòng)對稱假設(shè)，在由前幀f_t-1到后幀f_t+1的前向光流場v_t-1，t+1基礎(chǔ)上，逐像素實(shí)施雙向三維遞歸搜索，當(dāng)前幀f_t在像素位置(i，j)處的候選光流向量集合為

CS_i，j＝{v_t，t+1(i，j-1)，v_t，t+1(i-1，j)，v_t-1，t(i，j)，v_t-1，t(i，j+1)，

v_t-1，t(i+1，j)，v_t，t+1(i-1，j-1)+u_a，v_t，t+1(i+1，j+1)+u_b}

其中v_t-1，t為由前幀f_t-1到當(dāng)前幀f_t的前向光流場，v_t-1，t在像素位置(i，j)處的光流向量v_t-1，t(i，j)按下式計(jì)算：

vt-1,t(i,j)=vt-1,t+1(i,j)2]]>

u_a與u_b為更新向量，隨機(jī)從以下集合中依次選取：

US={00,01,0-1,02,0-2,10,-10,30,-30}]]>

提取以像素位置(i，j)為中心的尺寸為w_p×w_p區(qū)域內(nèi)所有像素位置組成Ω_i，j，計(jì)算當(dāng)前像素位置(i，j)處的最優(yōu)光流向量v_t，t+1(i，j)如下：

vt,t+1(i,j)=argminv∈CSi,j{Σs∈Ωi,j|ft-1(s-v)-ft+1(s+v)|+τ||v||2}]]>

其中v為CS_i，j中的候選光流向量，s為Ω_i，j中的任意像素位置，f_t-1(s-v)是前幀f_t-1在像素位置s-v處的像素值，f_t+1(s+v)是前幀f_t+1在像素位置s+v處的像素值，||·||₂為l₂范數(shù)，τ為取為0.3，Ω_i，j尺寸w_p設(shè)置為7；

光流場平滑方法為，若當(dāng)前像素位置(i，j)處的光流向量v_t，t+1(i，j)方向與其四連接區(qū)域像素的光流向量方向不一致時(shí)，就認(rèn)為v_t，t+1(i，j)估計(jì)發(fā)生錯(cuò)誤，并將其方向糾正，保持與四連接區(qū)域像素光流向量方向一致，從左至右，從上到下，逐像素對應(yīng)光流場中光流向量進(jìn)行平滑，保證光流在局部區(qū)域內(nèi)的一致性，以抑制錯(cuò)誤光流向量出現(xiàn)；

稀疏重建模型構(gòu)造方法為，提取當(dāng)前幀f_t在以像素位置(i，j)為中心的尺寸為w_p×w_p區(qū)域Ω_i，j內(nèi)所有像素亮度值，并按列排列為向量x_i，j，稱x_i，j為像素位置(i，j)處的圖像子塊，即滿足

x_i，j＝R_i，jf_t

其中R_i，j是用于提取f_t中像素位置(i，j)處圖像子塊的矩陣，圖像子塊尺寸w_p設(shè)置為7，利用運(yùn)動(dòng)對稱性，由線性內(nèi)插法可計(jì)算x_i，j的估計(jì)p_i，j如下：

pi,j(k)=12[ft-1(Ωi,j(k)+vt,t-1(i,j))+ft+1(Ωi,j(k)+vt,t+1(i,j))]]]>

其中p_i，j(k)為p_i，j的第k個(gè)分量，Ω_i，j(k)是p_i，j(k)在Ω_i，j內(nèi)對應(yīng)的像素位置，p_i，j與x_i，j之間存在有一定預(yù)測誤差，即

p_i，j(k)＝x_i，j(k)+n_i，j(k)

其中x_i，j(k)為原始圖像子塊x_i，j的第k個(gè)分量，n_i，j(k)為預(yù)測誤差項(xiàng)，將n_i，j(k)建模為均值為0、方差為σ²_i，j的加性高斯噪聲，原始圖像子塊x_i，j稀疏表示建模如下：

x_i，j＝D_i，ja_i，j+m_i，j

式中D_i，j為x_i，j的稀疏表示字典，a_i，j為x_i，j的稀疏表示系數(shù)，其服從參數(shù)為θ_i，j的拉普拉斯分布，m_i，j為噪聲項(xiàng)，其服從均值為0、方差為η²_i，j的加性高斯噪聲，考慮f_t中所有像素對應(yīng)的圖像子塊，可構(gòu)造出最終的稀疏重建模型如下：

{f^t,α^i,j}∀i,j=argminft,αi,j{||Ri,jft-Di,jαi,j||22+λi,j||pi,j-Ri,jft||22+μi,j||αi,j||1}]]>

其中正則化參數(shù)

λi,j=ηi,j2σi,j2,μi,j=2ηi,j2θi,j]]>

上式采用數(shù)值計(jì)算方法根據(jù)如下步驟求解：

步驟1：初始化待求解變量f_t⁽⁰⁾為當(dāng)前幀f_t的線性內(nèi)插估計(jì)，設(shè)定最大迭代次數(shù)為10；

步驟2：固定f_t⁽ⁿ⁾，稀疏重建模型化簡為

{αi,j(n)}∀i,j=argminαi,j{||Ri,jft-Di,jαi,j||22+μi,j||αi,j||1}]]>

等價(jià)于

{αi,j(n)}∀i,j=argminαi,j||αi,j||0,s.t.||Ri,jft-Di,jαi,j||22≤ϵi,j2]]>

式中||·||₀為l₀范數(shù)，即向量中非0分量個(gè)數(shù)，ε_i，j與μ_i，j成反比，可按經(jīng)驗(yàn)固定為0.01，采用正交匹配追蹤算法求解得a_i，j的第n次迭代解a_i，j⁽ⁿ⁾；

步驟3：固定a_i，j⁽ⁿ⁾，稀疏重建模型化簡為

ft(n)=argminft{||Ri,jft-Di,jαi,j(n)||22+λi,j||pi,j-Ri,jft||22}]]>

有閉式解如下：

ft(n)=[Σi,j(Ri,jTRi,j+λi,jRi,jTRi,j)]-1[Σi,j(Ri,jTDi,jαi,j(n)+λi,jRi,jTpi,j)]]]>

其中上標(biāo)T代表對矩陣進(jìn)行轉(zhuǎn)置運(yùn)算，

步驟4：重復(fù)步驟2至步驟3，直到滿足||f_t⁽ⁿ⁾-f_t^(n-1)||₂≤0.001為止，此時(shí)迭代解即為當(dāng)前幀估計(jì)；

正則化參數(shù)估計(jì)方法為，正則化參數(shù)λ_i，j由σ²_i，j和η²_i，j決定，對于σ²_i，j，首先計(jì)算前后參考幀f_t-1與f_t+1沿著光流軌跡的亮度值絕對差值如下：

d_i，j＝|f_t-1(s+v_t，t-1(i，j))-f_t+1(s+v_t，t+1(i，j))|

其中s代表內(nèi)插幀f_t在位置(i，j)處的像素坐標(biāo)，f_t-1、f_t及f_t+1在s處的像素取值分別為f_t-1(s)、f_t(s)及f_t+1(s)，利用上式估計(jì)σ²_i，j如下：

σ^i,j=a·di,j+b]]> 2

由數(shù)值分析結(jié)果分別設(shè)定a、b取值為0.75、3.5，對于η²_i，j，在求解稀疏重建模型的每次迭代中進(jìn)行更新，首先利用第n次迭代的稀疏表示系數(shù)a_i，j⁽ⁿ⁾計(jì)算圖像子塊估計(jì)如下：

x^i,j(n)=Di,jαi,j(n)]]>

接著，利用圖像子塊估計(jì)的樣本方差估計(jì)η²_i，j如下

η^i,j2=1N-1Σk[x^i,j(n)(k)]2-[1NΣkx^i,j(n)(k)]2;]]>

其中N為圖像子塊x_i，j的像素個(gè)數(shù)

字典學(xué)習(xí)方法為，首先，逐像素抽取前后參考幀f_t-1與f_t+1內(nèi)圖像子塊組成訓(xùn)練集合S，接著，提取S內(nèi)任意樣本梯度值作為特征，利用K-mean算法根據(jù)特征將S劃分為3個(gè)聚類{S₁，S₂，S₃}，計(jì)算聚類內(nèi)所有樣本均值作為聚類中心{c₁，c₂，c₃}，最后，利用主成份分析算法計(jì)算各聚類的主成份，并組成對應(yīng)于3個(gè)聚類的正交變換矩陣{P₁，P₂，P₃}，在求解稀疏重建模型的每次迭代中，利用圖像子塊x_i，j的第n-1次迭代選擇學(xué)習(xí)字典如下：

li,j=argminq||x^i,j(n-1)-cq||22]]>

Di,j=Pli,j.]]> 3