[發明專利]基于張量稀疏約束的光場填充方法及裝置

在審

• 申請號: 202110063571.X
• 申請日: 2021-01-18
• 公開（公告）號: CN112884645A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 齊娜;王晨;朱青
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

基于張量稀疏約束的光場填充方法及裝置，避免向量化、引入超分辨率重建技術使光場內部的相關特性被最大程度地利用，得到客觀表現良好的填充光場，給用戶更好的視覺體驗。方法包括：(I)對丟失部分信息的光場進行滑窗采樣、搜索相似塊并堆疊，利用基于張量稀疏約束的光場填充模型填充得到的五維張量，再將其中的圖像塊分別置回光場原始索引處，得到填充的光場；(II)對(I)中得到的光場、與對前者進行超分辨率重建得到的高分辨率光場都進行滑窗采樣；將后者得到的圖像塊投影為前者相同大小的塊，相似度排序得到由兩者組成的五維張量，對其使用基于張量稀疏約束的光場填充模型填充，將其中原始大小的圖像塊置回原始索引處，得到填充的光場。

技術領域

本發明涉及圖像處理的技術領域，尤其涉及一種基于張量稀疏約束的光場填充方法，以及基于張量稀疏約束的光場填充裝置，主要用于高維圖像填充。

背景技術

光場同時包含空間和角度信息，它可以更精確地表示光場。在探測、識別和計算機圖像等問題中，光場都占據著十分重要的地位，它的應用十分廣泛，能夠應用在邊緣檢測、材質識別、圖像重聚焦、虛擬現實等各項領域中。通過硬件獲取的圖像數據需要更高的維度才能更精確地表示場景，而想要得高維圖像，要與直接對場景拍下一系列二維圖像要不同。由于硬件的限制，想要得到高分辨率的光場仍是十分困難的。并且由于傳感器的高靈敏度以及人們需要的高處理速度，獲取的光場通常是低分辨率的，甚至會出現部分數據的丟失，而這限制了后續處理技術的發展。因此，光場的填充已成為一項重要的研究方向。

光場填充最直接的方法是將光場的每個視圖(view)視為獨立的二維圖像，然后對每張圖像用矩陣填充模型進行填充，矩陣填充模型主要有矩陣奇異值分解(singularvalue decomposition,SVD)和矩陣核范數最小化(nuclear norm minimization,NNM)。雖然這些算法是復原光場最簡單的方法，但它們將光場視為一系列的二維圖像的堆疊，打破了光場圖像每個視圖中的內部聯系。

張量可以更好地表示光場內部的聯系，所以研究人員也會使用張量表示光場，光場的填充問題即為張量的填充問題，張量的填充算法同樣可以應用到光場填充問題中。這種填充方法可以被分為兩類，一類是基于張量秩的最小化算法，一類是基于張量分解的算法。前者使用最小化張量秩進行填充，典型的算法有HaLRTC[1]，[2]與[3]。這種方法可以被視為是二維矩陣低秩化填充方法的一般化形式，它利用了秩的特性并且通過最小化秩進行填充。然而，與二維矩陣不同，張量的秩沒有明確的定義，而直接最小化張量秩也是一個NP-hard問題。所以部分張量填充方法也會利用與原張量近似的低秩張量去解決這個問題。HaLRTC[1]提出了張量跡范數的定義，它是一種泛化的矩陣跡范數，最后通過ADMM框架進行求解。HaLRTC[2]提出了隨機高斯測度(random Gaussian measurements)的幾個理論界測度(theoretical bounds)處理低秩張量的恢復問題。HaLRTC[3]以張量的階數n作為稀疏度，通過求滿足線性約束的最低n階張量來解決張量填充問題。基于低秩的張量填充方法通常需要大量的計算，需要花費十分多的資源。后者的張量填充則是基于張量分解，通常利用了CP(CANDECOMP/PARAFAC)分解或Tucker分解。基于CP分解的張量填充算法中，最具代表性的算法有CPWOPT，FBCP和NCCP。CPWOPT為一個用于張量填充的加權優化算法。FBCP以一個分層概率模型，通過全貝葉斯處理，自動找到合適的張量秩，并在此秩的約束下填充張量。NCCP為一種基于CP分解的張量填充算法，它利用了因子矩陣核范數最小化進行填充。基于Tucker分解的張量填充算法中，比較代表性的有Tucker[1]和STDC。Tucker[1]建立了一個優化問題并以非線性共軛梯度(Nonlinear Conjugated Gradient)進行求解。STDC將秩最小化與Tucker分解模型結合，構建出新的模型，求解填充問題。雖然這些方法都能對光場進行填充，但是它們默認光場的所有模都共享相同的權重，忽略了張量沿模的區別性。