[發明專利]圖像處理裝置、圖像處理方法和程序

無效

• 申請號: 201110163245.2
• 申請日: 2011-06-10
• 公開（公告）號: CN102291531A
• 公開（公告）日: 2011-12-21
• 發明（設計）人: 竹內悟;高橋宏彰;栗田哲平;增野智經;名云武文;近藤雄飛
• 申請（專利權）人: 索尼公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06T7/20
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 杜誠;陳煒

技術領域

本發明涉及圖像處理裝置、圖像處理方法和程序。具體地，本發明涉及執行用于降低圖像中的噪聲和提高圖像分辨率的過程的圖像處理裝置、圖像處理方法和程序。

背景技術

在要執行圖像處理，諸如圖像降噪(NR)過程或由低分辨率圖像生成高分辨率圖像的分辨率提高過程(例如稱為超分辨率(SR)過程)的情況下，執行例如使用包含同一對象的多個連續捕捉的圖像的處理。公開圖像處理技術(諸如使用多個圖像進行的降噪)的相關技術的示例包括日本未審查專利申請公開2009-194700號以及日本未審查專利申請公開2009-290827號。

在要執行降噪過程或分辨率提高過程的情況下，通過使用許多圖像來實現有效的降噪和分辨率提高。因此，對于生成高質量圖像的裝置，存儲許多圖像的存儲器變得有必要。

然而，如果圖像處理裝置設置有許多圖像存儲存儲器，則硬件變得龐大，并且成本提高。因此，產生了這樣的問題：對于那些對尺寸的減小和低成本有較大需求的圖像捕捉設備，難以設置這樣多的存儲器。

另外，在要在圖像捕捉設備中執行上述降噪和分辨率提高的情況下，下列不同圖像可以成為要作為處理目標圖像進行處理的目標：

(a)由圖像捕捉元件生成的RAW(原始)圖像，由作為每個像素的信號的對應于顏色濾波器的僅特定顏色(例如RGB中的任何一個)的各像素的信號形成的所謂馬賽克圖像，

(b)全色圖像，其中通過針對馬賽克圖像的顏色插值過程，在全部像素中設置RGB等的顏色信號。

然而，由于這些圖像信號的結構不同，在相關技術中，根據將圖像信號(a)和(b)中哪一個作為處理目標，通過使用各自的專用電路來執行處理。也就是說，沒有相關技術公開特定的結構，其中通過應用一個共同的電路來對這兩種不同的信號執行處理。

關于如何使得用于對這兩種不同圖像信號執行降噪和分辨率提高的電路的尺寸減小以便降低成本已經成為一個挑戰。

發明內容

希望提供一種圖像處理裝置、圖像處理方法和程序，其使得能夠采用簡化的硬件配置來實現通過使用多個圖像的疊加過程進行的降噪或分辨率提高過程。

還希望提供一種圖像處理裝置、圖像處理方法和程序，使得能夠通過使用共同的電路實現降噪或分辨率提高過程，該共同電路能夠處理本發明實施例中的RAW圖像和全色圖像兩者。

根據本發明的一個實施例，提供一種圖像處理裝置，包括：疊加處理單元，配置為執行針對多個連續捕捉的圖像的混合過程，其中該疊加處理單元被配置為選擇性地輸入作為處理目標圖像的RAW圖像或全色圖像的亮度信號信息并執行疊加過程，以及執行用于相繼更新存儲在用于存儲兩個圖像幀的存儲器中的數據的過程，從而使得能夠進行任意希望數量的圖像的疊加。

在根據本發明的圖像處理裝置的一個實施例中，疊加處理單元可以執行在存儲器的部分中重寫和存儲疊加過程后的圖像，以及把存儲在存儲器中的疊加圖像用于下一個和后續的疊加過程。

在根據本發明的圖像處理裝置的一個實施例中，疊加處理單元可以在存儲器中存儲對應于RAW圖像的每個像素的像素值數據，并且在RAW圖像是處理目標的情況下可以基于對應于該RAW圖像的每個像素的像素值數據執行疊加過程，而在全色圖像是處理目標的情況下可以在存儲器中存儲對應于每個像素的亮度信號值數據，并基于對應于該全色圖像的每個像素的亮度值數據執行疊加過程。

在根據本發明的圖像處理裝置的一個實施例中，疊加處理單元可以包括全局運動向量計算單元，配置為計算多個連續捕捉的圖像的全局運動向量；定位處理單元，配置為生成運動補償圖像，其中根據全局運動向量將參考圖像的對象位置定位在關鍵圖像的位置處；運動對象檢測單元，配置為基于作為定位處理單元的定位結果獲得的運動補償圖像和關鍵圖像的相應像素之間的像素差來獲得運動對象信息；以及混合處理單元，配置為基于混合比來混合關鍵圖像和運動補償圖像從而生成疊加圖像，該混合比基于運動對象信息。

在根據本發明的圖像處理裝置的一個實施例中，運動對象檢測單元可以基于作為定位處理單元的定位的結果獲得的運動補償圖像與關鍵圖像的相應像素之間的像素差，計算指示運動對象信息的α值以作為像素單元處的運動對象信息，并且混合處理單元可以根據該α值的值，關于有高概率是運動對象的像素降低運動補償圖像的混合比，并且可以執行混合過程，在該混合過程中，關于有低概率是運動對象的像素，將運動補償圖像的混合比設置為較高。