[發明專利]圖像處理裝置和方法以及圖像顯示裝置和方法

有效

• 申請號: 201110359416.9
• 申請日: 2011-11-14
• 公開（公告）號: CN102572222A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 藤山直之;小野良樹;久保俊明;堀部知篤;那須督
• 申請（專利權）人: 三菱電機株式會社
• 主分類號: H04N5/21
• 分類號: H04N5/21;H04N7/01;G06T7/20;G06T5/00
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝;黃綸偉

技術領域

本發明涉及圖像處理裝置和方法以及圖像顯示裝置和方法。本發明尤其涉及向圖像的幀之間插入新的插值幀的幀插值處理。

背景技術

液晶顯示器等維持型顯示器在1幀期間內持續顯示相同圖像，而人眼對于運動物體的跟蹤是連續移動的，當圖像中的物體運動的情況下，由于物體的移動表現為以1幀為單位的不連續的移動，因而存在邊緣部分看起來模糊的問題。

另外，關于電影等將膠片視頻轉換為電視信號的素材，由于兩者(膠片視頻與電視信號)的幀頻的差異，成為由同一幀制作出2幀或3幀的圖像信號的情況，若對此直接進行顯示則會出現運動模糊或者產生運動不平滑(jerky)這樣的抖動(judder)問題。

同樣地，關于經過計算機處理的視頻轉換為電視信號的素材，同樣為由同一幀制作出2幀的圖像信號的情況，若直接進行顯示，則會與上述情況同樣地，出現運動模糊或者產生運動不平滑這樣的抖動問題。

為了解決這些問題，可以考慮通過對幀進行插值而增多顯示幀數，以使得物體的移動變得流暢。

作為現有的圖像處理裝置和方法，已知有利用與前1幀相同的圖像對插值幀進行插值的零階保持法、利用前1幀圖像與后1幀圖像的平均圖像對插值幀進行插值的平均值插值法等。然而，關于零階保持法，對于在一定方向運動的圖像，并不進行順暢的移動，因此依然無法解決維持型顯示器的模糊問題。而平均值插值法存在運動圖像成為重影圖像的問題。

作為該改善措施，已知的是根據相對于插值幀的插值像素處于點對稱的位置、且時間上在先的幀的像素與時間上在后的幀的像素的像素之間相關最大的像素，生成插值幀的插值像素(例如參見專利文獻1)。根據該方法，例如當在視頻中存在從在先的幀向在后的幀移動的對象的情況下，在在先的幀與在后的幀之間生成的插值幀中，插值出移動至在先的幀的對象位置與在后的幀的對象位置的正中間位置的對象，因此能顯示平滑的視頻流。然而，即使適當進行了幀插值，例如將幀速率設為2倍，但是在包含有運動導致的模糊(以下也稱之為運動模糊)而造成惡化的移動對象的幀中，依然無法減少攝像時產生的運動所導致的模糊，而只能顯示出模糊的視頻流。

另一方面，在專利文獻2中，公開了通過使用了運動矢量檢測的、模糊函數的去卷積的手法，對包含有因運動導致的模糊而造成惡化的移動對象的幀，校正由于運動而模糊的區域的手法。

顯示裝置所接收的視頻信號是由相機的受光部對幀蓄積時間(例如1/60秒)內從被攝體接收的受光總量進行量化，按照根據規格而確定的像素順序排列進行發送的。當相機的受光部與被攝體相對運動的情況下，在被攝體的輪廓部會產生由幀蓄積時間和相機與被攝體的相對速度確定的模糊。對此，專利文獻2的手法是將數學模型適用于圖像，利用數學模型所包含的模糊函數的反函數進行濾波。然而，如上所述，液晶顯示器等維持型顯示器在1幀期間內持續顯示相同圖像，當圖像中的物體運動的情況下，物體的移動是以1幀為單位的不連續的移動，因而依然會存在邊緣部分顯示得模糊的問題。

【專利文獻1】日本特開2006-129181號公報(第8頁、圖3)

【專利文獻2】日本特許第3251127號說明書

現有的幀插值處理就是如上構成的，即使適當生成了插值幀，也會存在無法減輕在視頻中移動的對象的運動導致的模糊的問題。另外，即使通過基于去卷積的逆濾波，對由于運動而模糊的移動對象減輕了運動導致的模糊，但是由于移動的對象以1幀單位進行不連續的移動，因而邊緣部分看起來模糊。

發明內容

本發明的一個方面的圖像處理裝置的特征在于，其具有：運動矢量檢測部，其根據從外部輸入的第1視頻信號以及從外部輸入的第2視頻信號，檢測上述第1視頻信號的運動矢量，其中，該第2視頻信號相對于上述第1視頻信號在時間上處于1幀以上之前或1幀以上之后；以及圖像校正部，其使用由上述運動矢量檢測部檢測出的運動矢量，校正上述第1視頻信號中的運動模糊，上述圖像校正部具有：運動模糊估計部，其根據上述運動矢量，估計運動模糊的方向和大小；濾波部，其使用對應于所估計出的上述運動模糊的方向和大小而預先確定的濾波系數，對上述第1視頻信號進行濾波；以及校正強度調整部，其按照關注像素附近的像素值的變化程度，調整對上述關注像素的校正強度，上述濾波部對關注像素的周邊區域內的像素的各個像素值進行限幅處理，使得關注像素的像素值與其周邊區域內的像素的各個像素值之差的絕對值不超過預先確定的閾值，并使用限幅處理后的上述像素值對上述周邊區域內的像素進行低通濾波。