[發明專利]圖像處理裝置、圖像處理方法、用于圖像處理的計算機程序及記錄介質

有效

• 申請號: 201280010784.5
• 申請日: 2012-01-31
• 公開（公告）號: CN103403758B
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 手塚忠則
• 申請（專利權）人: 松下電器(美國)知識產權公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;H04N1/387
• 代理公司: 永新專利商標代理有限公司72002
• 代理人: 陳萍

技術領域

本發明涉及從低分辨率圖像生成高分辨率圖像的圖像處理技術。

背景技術

一直以來，作為將低分辨率圖像變換為高分辨率圖像的方法，提出了超析像技術，例如在非專利文獻1中，公開了超析像技術的代表性方法。依照該文獻，如式1所示，定義了表示多個低分辨率圖像與高分辨率圖像的關系的方程式，通過求解式1，生成高分辨率圖像。在求解式1時，通過使用梯度法等的反復處理進行重復運算，直到誤差成為一定以下。

[數式1]

在此，h表示高分辨率圖像的向量表達，σ表示觀測值的噪聲偏差，b(xi，yi)表示與位置(xi，yi)對應的PSF(點擴散函數)內核(kernel)的向量表達，C是表示高分辨率圖像的事前信息的矩陣式，α是表示約束強度的約束參數。另外，Nl表示多個低分辨率圖像的總像素數。

在現有的超析像技術中，高分辨率圖像因某些劣化而變成低分辨率圖像，將作為目的的高分辨率圖像與低分辨率圖像的關系作為方程式記述，通過求解該方程式而獲得高分辨率圖像。為了獲得良好的高分辨率圖像，將該劣化模型化的方程式非常重要，如何制作推測低分辨率的劣化過程的劣化模型成為超析像技術的要點。

在劣化模型與所取得的低分辨率圖像的真實劣化過程不同的情況下，由于劣化模型與真實劣化過程的差異，在所獲得的高分辨率圖像上產生噪聲。為了解決該問題，在非專利文獻2中介紹了通過對劣化模型添加在PSF等圖像的輸入過程以外發生的系統噪聲項而提高魯棒性的超析像技術。在 非專利文獻2的技術中，定義式2那樣的劣化模型，通過求解該式而生成高分辨率圖像。

[數式2]

在此，X為輸入圖像，Hatm為大氣引起的模糊，Fk為A/D變換引起的劣化，Hcam為攝像機引起的模糊，Dk為降采樣引起的劣化，Vk為系統噪聲。在式2中，由于包含系統噪聲而進行模型化，因而相對于通常的圖像劣化以外的噪聲確保了魯棒性。

在先技術文獻

非專利文獻

非專利文獻1：田中正行、奧富正敏，重構型超析像處理的高速化算法及其精度評價，電子信息通信學會論文集，D-IIVol.J88-D-II，No.11，pp.2200-2209，2005；

非專利文獻2：Sina Farsiu等，Fast and Robust Multiframe Super Resolution，IEEE Transactions on Image Processing，vol.13，No.10，OCTOBER 2004。

發明的概要

發明所要解決的問題

然而，例如想要將超析像處理應用于通過TV廣播而廣播的圖像的情況下，現實中不可能推測正廣播的多個節目的劣化模型，在使用非專利文獻1所公開的技術而通過事先準備的劣化模型進行超析像處理的情況下，在所獲得的高分辨率圖像中產生噪聲，成為不期望的結果。另外，在應用非專利文獻2所公開的技術的情況下，所獲得的結果擁有某種程度的魯棒性，但由于將用于確保魯棒性的反復處理加入式2的運算中，因而存在運算處理量變大的問題。

發明內容

為了解決上述問題，本發明的目的在于，提供一種圖像處理裝置、圖像處理方法、用于圖像處理的計算機程序及記錄介質，即使在所取得的低 分辨率圖像的真實劣化過程與劣化模型偏離的情況下，也能夠抑制由于真實劣化過程與劣化模型的差異而產生的噪聲，同時生成高分辨率圖像。

解決問題所采用的技術方案

為了達成上述目的，本發明為從低分辨率圖像生成高分辨率圖像的圖像處理裝置，其特征在于具備：取得單元，取得低分辨率圖像；

放大內插單元，對取得的所述低分辨率圖像進行放大內插，生成分辨率比所述低分辨率圖像更高的第一高分辨率圖像；超析像處理單元，通過逆向追溯劣化模型，從所述低分辨率圖像生成具有與所述第一高分辨率圖像相同的分辨率的第二高分辨率圖像，該劣化模型推測了高分辨率圖像劣化而成為低分辨率圖像的過程；特征量生成單元，使用所述低分辨率圖像，生成表示所述第一高分辨率圖像的各像素的位置的特征的特征量；差分運算單元，對于所述第一高分辨率圖像的各像素，計算該像素的值與對應的所述第二高分辨率圖像中的像素的值的差分值；調整單元，使用所生成的所述特征量，對計算出的各像素的差分值進行修正，計算修正差分值；以及合成單元，將所述第一高分辨率圖像的各像素的值與對應于該像素的修正差分值相加，生成第三高分辨率圖像。

發明的效果