[發明專利]圖像處理方法及裝置、電子設備和計算機存儲介質

在審

• 申請號: 201911413901.2
• 申請日: 2019-12-31
• 公開（公告）號: CN111192308A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 王哲峰;項驍駿;姜翰青;章國鋒
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/70;G06T19/00
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本公開實施例公開了一種圖像處理方法及裝置、電子設備和計算機存儲介質，該方法包括：根據當前幀圖像中目標點的鄰域窗口中像素的深度值，確定所述目標點的深度值；基于所述目標點的深度值，對所述目標點在所述當前幀圖像中的坐標進行坐標變換處理，得到所述目標點在世界坐標系中的坐標；對所述目標點在所述世界坐標系中的坐標進行坐標變換處理，得到所述目標點在視頻的至少一其他幀圖像中的坐標。本公開實施例可以獲得目標點的較準確的深度值，進而提高錨點放置的魯棒性。

技術領域

本公開涉及計算機視覺技術，尤其是一種圖像處理方法及裝置、電子設備和計算機存儲介質。

背景技術

在增強現實(Augmented Reality，簡稱AR)的應用中，要實現虛擬物體與現實場景的融合，通常需要給定圖像中的一個點，計算出它在真實場景中的位置，即錨點所在位置，將虛擬物體放置在這個位置，在以后的圖像中，再將真實場景中的這個位置投影回圖像中，就可以實現錨點與真實場景融為一體的效果。

在進行錨點放置時，借助圖像的深度信息，可以計算出圖像中每個點在真實場景中的位置。然而，在移動設備實現虛擬物體與現實場景的融合時，由于受到功率等限制，所得到的深度信息的精度通常較低，并且在圖像中的黑色物體和反光表面還會出現深度信息缺失的情況，這樣在圖像的深度信息存在較多噪聲的情況下，將很難實現錨點的有效放置。

發明內容

本公開實施例提供一種圖像處理的技術方案。

根據本公開實施例的一個方面，提供一種圖像處理方法，包括：

根據當前幀圖像中目標點的鄰域窗口中像素的深度值，確定所述目標點的深度值；

基于所述目標點的深度值，對所述目標點在所述當前幀圖像中的坐標進行坐標變換處理，得到所述目標點在世界坐標系中的坐標；

對所述目標點在所述世界坐標系中的坐標進行坐標變換處理，得到所述目標點在視頻的至少一其他幀圖像中的坐標；其中，所述其他幀圖像為所述視頻中除所述當前幀圖像外的圖像。

可選地，在本公開上述任一方法實施例中，所述根據當前幀圖像中目標點的鄰域窗口中像素的深度值，確定所述目標點的深度值，包括：

獲取所述當前幀圖像中所述目標點的鄰域窗口中像素的深度值；

基于所述鄰域窗口中像素的深度值的標準差小于預設閾值，確定所述鄰域窗口中像素的至少一個參考深度值；

根據所述鄰域窗口中像素的至少一個參考深度值的平均值，得到所述目標點的深度值。

本實施例基于鄰域窗口中像素的深度值的標準差小于預設閾值，可以在鄰域窗口中同時包含圖像的前景和背景的時候，有效剔除鄰域窗口中屬于圖像的背景中的像素的深度值，只根據鄰域窗口中屬于圖像的前景中的像素的深度值的平均值得到目標點的深度值，可以使所得到的目標點的深度值的結果更加準確。

可選地，在本公開上述任一方法實施例中，所述基于所述鄰域窗口中像素的深度值的標準差小于預設閾值，確定所述鄰域窗口中像素的目標深度值，包括：

對所述鄰域窗口中像素的有效深度值按照從小到大的順序進行排序，得到候選深度值列表，其中，所述有效深度值包括所述鄰域窗口中大于零且小于預設值的深度值；

基于所述候選深度值列表中從最小深度值到當前深度值的標準差小于所述預設閾值，確定最大的當前深度值，以所述候選深度值列表中從所述最小深度值到所述最大的當前深度值作為所述至少一個參考深度值。

本實施例利用鄰域窗口中像素的深度值的標準差小于預設閾值，通過對預設閾值大小的設置，可以將鄰域窗口中像素的有效深度值和無效深度值區分開，有效獲取鄰域窗口中屬于圖像的前景中的像素的深度值，以便獲取目標點的深度值。