[發明專利]雙模深度估計器

有效

• 申請號: 201780025104.X
• 申請日: 2017-04-20
• 公開（公告）號: CN109076205B
• 公開（公告）日: 2021-03-09
• 發明（設計）人: A·K·黎曼斯
• 申請（專利權）人: 奧崔迪合作公司
• 主分類號: H04N13/106
• 分類號: H04N13/106;G06T7/00;H04N13/128;G06T7/593
• 代理公司: 北京北翔知識產權代理有限公司 11285
• 代理人: 關麗麗;鄭建暉

提供了一種被配置用于對視頻數據進行實時深度估計的片上系統。所述片上系統包括：一個單視場深度估計器(200)，被配置為由單視場型視頻數據執行單視場深度估計；以及一個立體深度估計器(210)，被配置為由立體型視頻數據執行立體深度估計。所述片上系統能重新配置為基于限定所選定的深度估計模式的配置數據執行單視場深度估計或立體深度估計。兩個深度估計器包括共享電路(120，150)，所述共享電路在硬件中被實例化且能重新配置為考慮每個深度估計器中的電路的功能上的差別。

技術領域

本發明涉及一種被配置用于實時深度估計的片上系統，其中該片上系統包括多個電路和一個存儲器接口，該存儲器接口用于實現對共享存儲器進行直接存儲器訪問。

背景技術

顯示設備諸如電視機、數字相框、平板電腦和智能電話越來越多地包括3D顯示器，以在用戶觀看這樣的設備上的內容時為用戶提供深度感知。出于此目的，這樣的3D顯示器可以獨立地或連同用戶佩戴的眼鏡一起在每只眼中為用戶提供不同的圖像，以便為用戶提供基于立體視覺的深度感知。

在媒體分發中，兩種類型的視頻內容是當前廣泛可得的：

1.立體視頻內容，由一系列左圖像和右圖像對(通常稱為“立體視頻”或“3D視頻”)組成；

2.單視場視頻內容，由一系列單個圖像(通常稱為“2D視頻”)組成。

可能需要將任一種類型的視頻數據轉換為所謂的圖像+深度格式，其中深度信息由深度映射(depth map)提供，該深度映射可以包括深度值、差距值(disparity value)和/或視差偏移值(parallactic shift value)，其中所有所述值指示圖像內的物體朝向攝像機所具有的距離。已經證明這樣的格式是有利的，例如，有利于在內容創建之后使得能夠進行深度調整、有利于解決具有不止兩個視圖的自動立體多視圖顯示等。

為了將單視場視頻數據和立體視頻數據轉換為圖像+深度格式，可以使用深度估計。然而，深度估計的類型對于立體視覺數據和對于單視場視頻數據是不同的。即，在立體視頻內容的情況下，立體視覺可用作用于深度估計的雙眼深度提示(binocular depthcue)，而在單視場視頻內容的情況下，僅單視場深度提示是可用的，包括但不限于來自運動、高度、曲線透視、散焦模糊等的深度。這樣，單視場視頻數據和立體視頻數據需要不同的深度估計。

然而，一旦轉換為圖像+深度格式，任何后續處理都可以是相同的，包括視圖渲染、深度調整等。

發明內容

本發明的目的是提供用于對立體視頻數據和單視場視頻數據進行實時深度估計的具有資源效益的片上系統。

本發明的第一方面提供了一種被配置用于對視頻數據進行實時深度估計的片上系統，所述片上系統包括：

-一個單視場深度估計器，被配置為從單視場型視頻數據執行單視場深度估計；

-一個立體深度估計器，被配置為從立體型視頻數據執行立體深度估計；

-一個存儲器接口，用于實現對共享存儲器進行直接存儲器訪問；

其中所述片上系統能重新配置為基于限定所選定的深度估計模式的配置數據執行單視場深度估計或立體深度估計，其中所述單視場深度估計器和所述立體深度估計器包括：

-一個能重新配置的共享輸入處理電路，所述共享輸入處理電路在硬件中被實例化且由所述配置數據能重新配置為：

-通過根據多個縮小因子(downscale factor)在空間上縮小所述視頻數據的每個輸入圖像來為所述輸入圖像生成經縮小的圖像的層級，其中所述輸入處理電路通過所述配置數據能配置為對于單視場深度估計選擇的待輸出的經縮小的圖像的層級的子集與對于立體深度估計選擇的待輸出的經縮小的圖像的層級的子集不同，以獲得特定于使用實例的經縮小的視頻數據，