[發明專利]一種基于稀疏冗余表示模型的視頻幀率上轉換方法

有效

• 申請號: 201610335408.3
• 申請日: 2016-05-18
• 公開（公告）號: CN105847804B
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 李然;郭華平;董喜雙;劉宏兵
• 申請（專利權）人: 信陽師范學院
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/139;H04N19/587;H04N19/176;H04N19/513;H04N7/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于視頻編碼技術領域，涉及一種視頻幀率上轉換方法，尤其是提出了利用稀疏冗余表示模型抑制在上轉換過程由異常運動向量造成的模糊現象。

背景技術

高幀率視頻可帶來極佳的視覺體驗，其展示畫面更接近于真實，是超高清視頻制作技術的新趨勢。受限于普通電子消費類數碼攝像機的采集速率，目前視頻節目源幀率一般為每秒30幀，即30fps，它仍不足以流暢地刻畫細膩動作，給人眼帶來一定停滯感，長時間觀看極易疲勞。直接以硬件方式提高設備采集速率，會成倍提高成本，不利于產品推廣，因此，需要以軟件方式利用低幀率視頻源的相關冗余信息作幀率上轉換，生成符合具有良好視覺質量的高幀率視頻源。

幀率上轉換可通過幀復制、幀平均方式實現，但這些簡單方法無法較好地描述高速運動，常會產生大量的模糊效應。然而，運動補償幀率上轉換充分利用相鄰視頻幀間的物體運動軌跡，線性恢復出中間幀運動向量場，獲得了良好的內插質量，成為主流的視頻幀率上轉換技術。塊匹配算法因其簡單性，常被用于運動補償幀率上轉換，它將視頻幀劃分為互不重疊的塊，尋找到各塊在參考幀上與其殘差能量最小的匹配塊，并確定相對坐標偏移作為最終線性運動向量。由于外部光照條件變化、物體表面相似性模式的存在，殘差能量最小準則并不一定可反映真實物體運動，常由于過擬合問題導致內插幀出現邊緣模糊、塊效應現象。運動向量平滑與提純可在一定程度上糾正運動向量異常，常用方法是加權中值濾波器，但它以連通區域內運動向量準確為前提假設，而現實情況下異常運動向量常成片出現，因此，運動向量平滑與提純并無法從根本上抑制異常運動向量出現。由上可知，如何估計物體真實運動軌跡，抑制由異常運動向量引起的不良效應，確保高內插質量的幀率上轉換是目前亟待解決的技術問題。

在現有技術中，文獻“Direction-Select Motion Estimation for Motion-Compensated Frame Rate Up-Conversion”(Yoo Dong-Gon，Kang Suk-Ju，and Kim Young Hwan，Journal ofDisplay Technology，vol.9，no.10，pp.840-850，2013)針對異常運動向量問題，提出沿著前后向分別估計內插幀的運動向量場，通過增加運動向量候選的方式，提高運動估計可靠性，同時，也提出了二維加權運動向量平滑，進一步改善運動向量場估計精度。盡管該方法在一定程度提高了幀率上轉換性能，但是它仍是使用塊匹配算法，并以殘差能量最小為準測挑選候選運動向量，因此，反映真實運動向量能力仍具有局限性。文獻“High Visual Quality Based Frame Rate Up Conversion with Acceleration Assisted Motion Trajectory Calibration”(Tai Tsung-Han，and Lin Hsueh-Yi，Journal ofDisplay Technology，vol.8，no.6，pp.341-351，2012)為了保證運動向量真實性，選擇采用單向運動估計，并不再將運動建模為勻速運動，而是增加了加速度參量，以二階加速模型描述物體運動。然而，該方法造成了大量塊重疊與空洞，需要借助后處理手段進行修飾，造成了較多模糊效應。由上可知，研究可確保運動向量真實性的幀率上轉換技術，并在內插過程抑制異常運動向量造成的模糊效應，具有重要研究意義和實用價值。

發明內容

技術問題：本發明為提高運動估計準確性并抑制異常運動向量造成的模糊現象，提出了一種基于稀疏冗余表示模型的視頻幀率上轉換方法。該方法放棄傳統的塊匹配算法，而是利用光流法估計內插幀的真實運動向量。在內插過程，為了抑制異常運動造成的模糊效應，傳統線性運動補償內插由基于稀疏冗余表示模型的非線性重建方法代替。該方法借助于光流估計與稀疏冗余表示兩大分析工具，可有效抑制異常運動向量帶來的不良效應，進一步改善運動補償幀率上轉換性能。

技術方案：本發明方法利用光流法估計各像素的運動向量，并以像素為中心形成圖像子塊，依據圖像子塊的運動軌跡，建立內插幀的稀疏冗余表示模型，通過非線性最優化方法求解該模型以恢復內插幀。其特征包括如下：

1.前向光流場估計

利用Lucas-Kanade光流算法估計前幀f_t-1與后幀f_t+1之間任意像素位置(i，j)處前向光流向量v_t-1，t+1(i，j)。

2.雙向光流場提純