[發明專利]圖像視覺處理方法、裝置及設備

有效

• 申請號: 201611033320.2
• 申請日: 2016-11-14
• 公開（公告）號: CN108076338B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 鄒冬青;石峰;劉偉恒;李佳;王強;錢德恒;徐靜濤;申昌雨;樸根柱;柳賢錫
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: H04N13/128
• 分類號: H04N13/128;H04N13/239
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧;宋海斌

本發明實施例提供了圖像視覺處理方法、裝置及設備，所述方法包括：確定出通過動態視覺傳感器DVS獲取的雙目幀圖像中每個事件像素點的視差和深度信息；確定出雙目幀圖像中每個非事件像素點的多個鄰居事件像素點；根據每個非事件像素點的各鄰居事件像素點的位置信息，確定出該非事件像素點的深度信息；根據雙目幀圖像中各像素點的深度信息，進行相應處理。利用本發明實施例，無需非事件像素點參與像素點的匹配，即使非事件像素點之間的光照強度、對比度和紋理難以區分，或者被遮擋，也可利用近鄰的事件像素點的位置信息，較為精確地確定出非事件像素點的深度信息，提升非事件像素點深度信息的精度。

技術領域

本發明涉及圖像處理技術領域，具體而言，本發明涉及一種圖像視覺處理方法、裝置及設備。

背景技術

動態視覺傳感器(Dynamic Vision Sensor，DVS)是一種新型的互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor，CMOS)圖像傳感器。與傳統的CMOS或電荷耦合元件(Charge-coupled Device，CCD)傳感器生成的圖像不同，DVS可以根據場景光照變化強度大小而產生事件，即將光照強度變化使得對比度變化超過設定閾值的像素點作為事件像素點，將對比度變化未超過設定閾值的像素點作為非事件像素點，從而生成DVS圖像。

在對象識別、場景三維建模、圖像渲染、立體電視、輔助駕駛等應用中，廣泛應用基于雙目DVS圖像的圖像視覺處理方法。

現有的圖像視覺處理方法，通常需要獲取雙目DVS幀圖像(簡稱雙目幀圖像)，包括：利用左目DVS攝像頭拍攝并生成的左目幀圖像，及利用右目DVS攝像頭拍攝并生成的右目幀圖像；確定出雙目幀圖像中左目幀圖像的像素點與右目幀圖像中相匹配的像素點之間的視差，根據確定出的視差，確定出相匹配的像素點的深度信息。其中，主要利用基于局部特征相似性、非局部特征相似性或全局特征相似性的幀圖像匹配技術來確定左目幀圖像與右目幀圖像的像素點之間的視差。

然而，本發明的發明人發現，DVS產生的事件像素點具有數量少(即稀疏)、左右DVS攝像頭產生的事件像素點分布和數量不一致等特點。因此，左目幀圖像和右目幀圖像中大部分區域的像素點都是非事件像素點。

一方面，由于非事件像素點的對比度變化較小，尤其遇到光照強度較大(例如逆光)或較弱的場景(例如夜間或昏暗的室內)，非事件像素點之間的對比度差異較小，非事件像素點之間難以區分，利用現有的圖像視覺處理方法，在左、右目幀圖像的非事件像素點與非事件像素點之間、或者事件像素點與非事件像素點之間進行匹配時，非常容易出現誤匹配；另一方面，當幀圖像中存在重復的紋理結構時，例如棋盤格紋理，由于紋理的重復性，使得一目幀圖像中的非事件像素點在另一目幀圖像中存在多個可匹配的像素點，非常容易出現誤匹配。毫無疑問，根據誤匹配的非事件像素點確定出的深度信息是錯誤的，該非事件像素點很可能成為噪點，大大降低了整個幀圖像的像素點的深度信息的精度。給后續基于幀圖像的像素點的深度信息的處理操作造成不良影響，甚至導致后續基于像素點深度信息的相應處理操作失敗。

此外，由于現有的圖像視覺處理方法，需要雙目幀圖像中的像素點匹配后，才能計算相匹配的像素點的視差和深度信息。然而，由于某些場景(例如近景拍攝、微距拍攝)中不同拍攝對象之間的遮擋，導致雙目幀圖像之間不完全一致，即一目幀圖像中的某些非事件像素點在另一目幀圖像中并不存在可匹配的像素點，利用現有的圖像視覺處理方法，無法確定出這些無法匹配的非事件像素點的深度信息，這些非事件像素點很可能成為噪點，大大降低了整個幀圖像的像素點的深度信息的精度。給后續基于幀圖像的像素點的深度信息的處理操作造成不良影響，甚至導致基于像素點深度信息的相應處理操作失敗。

發明內容

本發明針對現有方式的缺點，提出一種圖像視覺處理方法、裝置及設備，用以解決現有技術存在非事件像素點的深度信息精度低下的問題，以提升非事件像素點的深度信息的精度。

本發明的實施例根據第一個方面，提供了一種圖像視覺處理方法，包括：