[發明專利]從低清晰度視頻產生高清晰度視頻的系統與方法

有效

• 申請號: 201010290834.2
• 申請日: 2010-09-21
• 公開（公告）號: CN102025959A
• 公開（公告）日: 2011-04-20
• 發明（設計）人: 趙良鎬;樸斗植;李皓榮;黃圭榮
• 申請（專利權）人: 三星電子株式會社
• 主分類號: H04N7/01
• 分類號: H04N7/01;H04N5/14
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 韓明星;羅延紅

本申請要求于2009年9月22日在韓國知識產權局提交的10-2009-0089503號韓國專利申請的優先權，該申請全部公開于此以資參考。

技術領域

一個或多個實施例涉及一種從低清晰度視頻產生高清晰度視頻的系統與方法，更具體地說，涉及一種利用軌跡估計和插值來產生高清晰度視頻的系統與方法。

背景技術

從低清晰度視頻到高清晰度視頻的圖像放大可能是圖像設備的重要功能，也可以是在日常生活用品(如可攜式攝像機)中或在專業領域(如天文學、保健等)中廣泛應用的同樣重要的元素。最近，應用圖像放大的實例的數量已經增加，如當將從數碼相機或可攜式攝像機中獲得的低清晰度視頻變換為高清晰度視頻時，在高清晰度顯示裝置中再產生低清晰度視頻內容，或將高清晰度視頻壓縮為低清晰度視頻，再將已壓縮的低清晰度視頻還原成高清晰度視頻。因此，對從低清晰度視頻獲得高清晰度視頻的圖像放大的期望正在增大。

作為一個示例，可使用鏡頭組合來執行圖像放大。然而，當使用這樣的光學倍率方案來實施高放大倍率的放大時，這使得在體積、重量、成本等上有明顯增加。為克服這些問題，可使用利用數字圖像處理的圖像放大方案。當使用這樣的數字圖像處理時，可使用半導體芯片來滿意地執行圖像放大，從而與光學放大倍率方案相比，表現出相對較低的成本。另外，當結合現有的光學倍率方案來使用圖像放大時，可獲得以高放大倍率而更有效地放大的圖像。此外，在信號處理方面，利用與彼此不同數量級的圖像，圖像放大方案可被用于維持系統之間的兼容性，以及用于增加圖像的分辨率或大小。圖像放大方案可被用于減少與圖像壓縮關聯的表達圖像所需的數據量。

在信號處理或圖像處理方面，圖像放大方案可有若干種方法。在一種方法中，利用信號插值的圖像放大方案可易被執行且實用。圖像的插值可以是可擴大原始圖像的離散像素之間的間隔，估計被擴大的間隔之間的值并將估計值插入被擴大的間隔中，以獲得放大圖像的效果的方案。在這種情況下，根據估計被擴大的間隔之間的值的方式，可確定圖像放大方法，并根據已確定的圖像放大方法，可改變放大的圖像。

例如，圖14示出傳統的圖像處理系統，其中，將視頻序列的多個幀輸入到多幀存儲器，更具體地說，每一幀都需要單獨的幀存儲器，例如，當基于從10個先前幀的運動估計對當前幀內的像素進行插值時，在多幀存儲器中就需要10個單獨的幀存儲器。多幀運動估計單元12對當前幀的每個像素或塊相對于從所有先前幀的對應的像素或塊的運動進行估計。例如，每個像素的運動估計可基于至少10個先前幀，需要10次基于每個先前幀的每個像素或塊的單獨的運動估計。通過檢查所有先前幀的每個像素或塊，可對每個像素或塊進行運動估計，使得高分辨率插值單元14可執行對當前幀的像素或塊的插值。

然而，這樣的方法也需要大量的存儲器和處理資源，從而引起增加的成本、延遲以及對在更大量的存儲器和處理環境中完成圖像轉換的限制。正如，每個先前幀都需要單獨的幀存儲器，并且先前幀的每個像素或塊都被存儲在每個單獨的幀存儲器中。此外，由于依賴每個先前幀的運動估計的當前幀的每個像素或塊都需要運動估計，所以需要大量的處理，也需要大量的時間。所以，由于這樣的缺陷，一般不能在更多緊湊移動設備中實現這樣的圖像轉換方法，并且一般也不能以實時方式執行這樣的圖像轉換方法。因此，用于圖像放大的當前圖像處理方法存在大量缺陷。

發明內容

根據一個或多個實施例，提供了一種圖像處理方法，包括：對當前幀的像素或塊(包括與當前幀的特征區域對應的像素或塊)執行軌跡估計，當先前幀的軌跡信息可用時，識別軌跡估計的像素；將軌跡估計的像素或塊劃分到特征區域并且根據每個當前幀的除軌跡估計的像素或塊以外的像素或塊的各自的空間譜，將當前幀的除軌跡估計的像素或塊以外的像素或塊逐一分別劃分到特征區域和統一區域之一；將特征區域的特征區域像素或塊與至少一個先前幀的特征區域像素或塊進行匹配；將至少一個先前幀的匹配的特征區域像素或塊和對應的軌跡估計的像素或塊投射到比當前幀具有更高清晰度的高清晰度幀；基于匹配的特征區域像素或塊和對應的軌跡估計的像素或塊，以及基于統一區域的像素或塊，對高清晰度幀的除投射的匹配的特征區域像素或塊和對應的軌跡估計的像素或塊以外的像素進行插值。