[發明專利]圖像處理設備、圖像處理方法、程序和信息處理系統

有效

• 申請號: 201880078938.1
• 申請日: 2018-10-12
• 公開（公告）號: CN111465818B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 海津俊;平澤康孝;栗田哲平
• 申請（專利權）人: 索尼公司
• 主分類號: G01B11/22
• 分類號: G01B11/22;G01B11/24;G01C3/06;G06T7/55
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 唐京橋;姜婷

視差檢測單元36的局部匹配處理單元361生成成本量，該成本量針對每個像素和每個視差表示與使用具有不同視點位置的圖像捕獲單元21、22獲取的圖像之間的相似度對應的成本。成本量處理單元363基于由圖像捕獲單元21獲取的偏振圖像，使用每個像素的由法線信息生成單元31生成的法線信息來對成本量執行成本調整處理。最小值搜索處理單元365使用視差檢測目標像素中的每個視差的成本，以從成本調整處理之后的成本量中檢測具有最高相似度的視差。深度計算單元37基于由視差檢測單元36針對每個像素檢測到的視差來生成表示每個像素的深度的深度信息。以這種方式，主體的形狀或成像條件不容易造成影響，并且因此，可以以高的準確度來檢測視差。

技術領域

本技術涉及圖像處理設備、圖像處理方法、程序和信息處理系統，并且使得能夠高精度地檢測視差。

背景技術

常規地，已經通過使用偏振信息來獲取深度信息。例如，專利文獻1中公開的圖像處理設備通過使用深度信息(深度圖)來執行對從多個視點獲得的偏振圖像的定位，該深度信息指示通過立體匹配處理生成的到對象的距離，在該立體匹配處理中使用了捕獲的多視點圖像。此外，圖像處理設備基于通過使用定位的偏振圖像檢測到的偏振信息來生成法線信息(法線圖)。此外，圖像處理設備通過使用生成的法線信息來提高深度信息的精度。

此外，非專利文獻1描述了通過使用基于偏振信息獲得的法線信息和由ToF(飛行時間)傳感器獲得的深度信息來高精度地生成深度信息。

引用列表

專利文獻

專利文獻1

PCT專利公布第WO2016/088483號

非專利文獻

非專利文獻1

Achuta Kadamb等人的“Polarized 3D:High-Quality Depth Sensing withPolarization Cues”.ICCV(2015)。

發明內容

技術問題

順便提及，專利文獻1中公開的圖像處理設備基于通過立體匹配處理檢測到的視差來生成深度信息，在該立體匹配處理中，使用了捕獲的多視點圖像。因此，通過立體匹配處理難以精確地檢測平坦部分中的視差，從而存在無法高精度地獲得深度信息的可能性。在如非專利文獻1中使用ToF傳感器的情況下，在沒有投影光到達的條件下或在返回光很難被檢測到的條件下無法獲得深度信息。此外，因為需要投影光，因此功耗會變大。

因此，本技術的目的是提供圖像處理設備、圖像處理方法、程序和信息處理系統，其使得在幾乎不受對象形狀、圖像捕獲條件等的影響的情況下能夠精確地檢測視差。

問題的解決方案

本技術的第一方面是一種圖像處理設備，該圖像處理設備包括：

視差檢測部，該視差檢測部通過使用基于偏振圖像的各個像素中的法線信息來對成本量執行成本調整處理，該成本量針對每個像素和每個視差指示與包括偏振圖像的多視點圖像之間的相似度對應的成本，并且該視差檢測部通過使用視差檢測目標像素的基于視差的成本，從經歷了成本調整處理的成本量中檢測相似度最大處的視差。