[發明專利]一種基于圖像深度分層的去偽影圖像拼接方法

在審

• 申請號: 201910508472.0
• 申請日: 2019-06-13
• 公開（公告）號: CN110264403A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 陳志波;張雯圓;陳曉明
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T5/50
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;賈玉忠

本發明涉及一種基于圖像深度分層的去偽影圖像拼接方法，包括以下步驟：根據深度圖聚類結果，對未拼接圖像的深度圖量化處理，得到深度圖掩膜；基于深度圖掩膜，對sift算法匹配好的特征點進行分類，不同類別的特征點計算各自的變換矩陣；根據深度圖掩膜，對拼接圖像進行深度分層，得到不同深度層次的圖像，對不同深度層次的圖像用各自的變換矩陣做變換，將變換后的圖像按照深度層次從深到淺疊加，得到最終的拼接圖像。

技術領域

本發明涉及一種基于圖像深度分層的去偽影圖像拼接方法，屬于虛擬現實，沉浸式媒體和光場圖像技術領域。

背景技術

全景圖像可為用戶帶來具有沉浸感的媒體體驗，是虛擬現實(VR)媒體的重要表現形式之一。無論是普通圖像還是光場圖像，其單張圖像的視角往往較窄，無法獨自形成全景圖像。在實際應用中，全景圖像一般由多張圖像經拼接算法拼接而成。光場圖像可為用戶提供更真實和更自然的6自由度(6DoF)媒體體驗，從而可使用戶獲得更好的沉浸感(Immersion)。因此，6自由度光場圖像是未來虛擬現實(VR)媒體技術發展的趨勢。在VR應用中，多張光場圖像需被拼接為一張全景光場圖像。由于待拼接圖像的重疊區域的景深動態范圍往往較大，目前的圖像拼接算法并不能取得很好的拼接效果，并經常會產生偽影現象(如圖1所示)。

發明內容

本發明技術解決問題：克服現有技術的不足，提供一種基于圖像深度分層的光場圖像拼接方法，可有效去除偽影，獲得明顯改善的圖像拼接效果。本發明所述方法不但適用于光場圖像的拼接，同樣適用于普通圖像的拼接。

本發明技術解決方案：

一種基于圖像深度分層的去偽影圖像拼接方法，包括以下步驟：

第一步，根據深度圖聚類結果，對未拼接圖像的深度圖量化處理，得到多個深度層次的二值的掩膜，即深度圖的掩膜；

第二步，基于深度圖的掩膜，對sift算法匹配好的特征點進行分類，不同類別的特征點計算各自的變換矩陣；

第三步，根據深度圖的掩膜，對拼接圖像進行深度分層，得到不同深度層次的圖像，對不同深度層次的圖像用各自的變換矩陣做變換，將變換后的圖像按照深度層次從深到淺疊加，得到最終的拼接圖像。

所述第一步具體實現如下：

(1)對深度圖進行灰度值統計，使用聚類算法對統計結果聚類，得到一個合適的深度層次數layer；

(2)統計深度圖最大灰度值max和最小灰度值min，按照如下公式對深度圖分配標簽，其中value(x,y)表示深度圖中橫坐標為x，縱坐標為y的灰度值，mask(x,y)表示掩膜圖中坐標為(x,y)處的標簽，代表從屬的深度層次；

(3)根據mask(x,y)的值的不同，得到layer個二值掩膜，最終得到多個深度層次的二值的掩膜。比如，將mask(x,y)中值為0的位置的值置為1，其余位置置為0，這樣就可以得到第1個深度層次的二值掩膜，同理，將mask(x,y)中值為1的位置的值置為1，其余位置置為0，這樣就可以得到第2個深度層次的二值掩膜,以此類推，可以得到所有深度層次的二值掩膜。

所述第二步具體實現如下：

(1)對待拼接的圖像用sift算法提取特征點，進行特征點匹配；

(2)遍歷所有特征點，按照其所在的位置和layer個二值掩膜，從而判斷特征點從屬于哪個深度層；

(3)將分類好的匹配特征點按照類別分別用RANSAC算法計算出各自的變換矩陣。

所述第三步具體實現如下：

(1)讓layer個二值掩膜分別與拼接圖像做乘積，能得到layer個從屬于不同深度層次的圖像；