[發(fā)明專利]圖像處理裝置以及圖像處理方法

有效

• 申請?zhí)枺?/td>: 201410138822.6
• 申請日: 2014-04-08
• 公開（公告）號: CN104104937B
• 公開（公告）日: 2017-09-05
• 發(fā)明（設計）人: 上森丈士
• 申請（專利權(quán)）人: 索尼公司
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司11240
• 代理人: 余剛,吳孟秋

相關申請的交叉引用

本申請要求于2013年4月15日提交的日本優(yōu)先專利申請JP2013-084669的權(quán)益，通過引用將其全部內(nèi)容結(jié)合在此。

技術領域

本公開涉及圖像處理裝置、圖像處理方法以及程序，并且其可以從具有不同視點的多個圖像中以高的準確度進行視差估計。

背景技術

在相關技術中，為了顯示3D圖像等，獲得了真實空間的三維信息。例如，日本專利申請?zhí)亻_公開第2001-103513號（在下文中，稱之為專利文獻1）公開了一種通過使用平方反比定律對距期望對象的距離進行估計的方法，平方反比定律涉及亮度，即從光源發(fā)射的光的亮度與距離平方成反比例下降。例如，在專利文獻1中，當拍攝內(nèi)臟器官圖像時，如果圖像中有亞甲基藍，則該區(qū)域中的光吸收特性改變。對該區(qū)域進行檢測，并且對圖像的亮度成分值進行校正，由此來估計深度距離。

此外，在日本專利申請?zhí)亻_公開第2012-065851號（在下文中，稱之為專利文獻2）中，使用了具有不同視點的多個攝取圖像，以由此獲得真實空間的三維信息。例如，獲得左視點處拍攝圖像與右視點處拍攝圖像的視差的方法之一是使用基于動態(tài)編程的立體匹配的視差估計（在下文中，稱之為“DP匹配視差估計”）。通常，在DP匹配視差估計中，基于像素或者塊獲得左視點處拍攝圖像與右視點處拍攝圖像之間對應點（或者對應區(qū)域）的匹配程度。并且對于作為整體的像素行或者塊行，以匹配程度變成最佳（最大）的方式來估計視差。在該DP匹配視差估計中，像素或者 塊的視差被確定為使得整行變得最佳，所以，即使在圖像中局部產(chǎn)生噪聲，通常也能夠?qū)σ暡钸M行絕對的估計。此外，其還可以從專利文獻2中估計的視差和諸如光線等相機參數(shù)來估計到對象的絕對距離。

發(fā)明內(nèi)容

附帶地,在專利文獻1中，在拍攝圖像中存在具有不同光吸收特性的對象的情況下，則難以對到對象的距離進行準確地估計。例如，當使用配備有雙鏡頭相機的內(nèi)窺鏡系統(tǒng)時，外科場景圖像顯示為3D圖像，通常，各種工具（諸如，鑷子和紗布）、血、以及具有不同光吸收特性的器官混合在圖像中。因此，應用有關于拍攝圖像的亮度的平方反比定律難以對距離進行估計。此外，為了處理具有不同光吸收特性的多個對象，需要事先找出所有對象的亮度成分的校正系數(shù)。此外，在專利文獻1中獲得的估計值是表示景深程度并且并不表示絕對距離的值。

此外，在專利文獻2中，在對對應點（或者對應區(qū)域）的匹配程度進行確定的情況下，使用表示匹配程度的估計值。例如，對于估計值，使用預定區(qū)域塊中像素的亮度值的絕對差總和（在下文中，稱之為“SAD”）或者預定區(qū)域塊中像素的亮度值的平方差總和（在下文中，稱之為“SSD”）。因此，例如，在圖像中亮度值變化較小的區(qū)域（沒有圖案的區(qū)域）中，任何位置均具有相似的估計值，因此，通常不產(chǎn)生對應誤差。此外，還是在重復相同圖案的區(qū)域中，具有相似圖案的區(qū)域具有相似的估計值，所以，難以獲得準確的對應點（或者區(qū)域）。

鑒于上述情況，需要提供一種能夠?qū)哂胁煌朁c的多個圖像以高準確度的進行視差估計的圖像處理裝置、圖像處理方法以及程序。

根據(jù)本技術的第一實施方式，提供一種包括關注區(qū)域檢測單元、亮度視差轉(zhuǎn)換單元以及亮度視差轉(zhuǎn)換單元的圖像處理裝置。

關注區(qū)域檢測單元被配置為從基準圖像檢測包括期望對象的關注區(qū)域。

亮度視差轉(zhuǎn)換單元被配置為基于通過使用過去幀估計出的亮度視差轉(zhuǎn)換特性來對關注區(qū)域執(zhí)行亮度視差轉(zhuǎn)換。

視差估計單元被配置為基于基準圖像、參考圖像以及不同于基準圖像的視點位置來進行視差估計，并且使用由亮度視差轉(zhuǎn)換單元獲得的亮度視差轉(zhuǎn)換結(jié)果在關注區(qū)域中進行視差估計。

在本技術中，從基準圖像中檢測期望對象的區(qū)域作為關注區(qū)域的。此外，從過去幀的關注區(qū)域的視差估計結(jié)果和亮度值來估計亮度視差轉(zhuǎn)換特性，并且對基于估計結(jié)果進行檢測的關注區(qū)域進行亮度視差轉(zhuǎn)換。根據(jù)至期望對象的深度距離對關注區(qū)域的亮度值進行校正，并且使用校正的亮度值來進行亮度視差轉(zhuǎn)換。此外，在對亮度視差轉(zhuǎn)換特性進行估計時，在根據(jù)深度距離進行校正的亮度值平方根與視差值成比例的假設下，來估計比例系數(shù)和截距。例如，基于過去幀中關注區(qū)域的最大亮度值、最小亮度值、最大視差值以及最小視差值來估計亮度視差轉(zhuǎn)換特性。此外，可基于關注區(qū)域中亮度值的分布和亮度值的平均值來計算最大亮度值和最小亮度值，并且可基于關注區(qū)域中視差值的分布和視差值的平均值來計算最大視差值和最小視差值。