[發明專利]一種基于限定核范數的低秩張量估計的視覺數據補全方法

有效

• 申請號: 201910054609.X
• 申請日: 2019-01-21
• 公開（公告）號: CN109886884B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 陳曦;李捷;何宇明;彭朔
• 申請（專利權）人: 長沙理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京旭路知識產權代理有限公司 11567
• 代理人: 姚自奇;莫舒穎

本發明屬于圖像或視頻的數據計算方法技術領域，尤其涉及一種基于限定核范數的低秩張量估計的視覺數據補全方法。該方法包括如下步驟：A1、將預先準備的原始待補全張量初始化得到目標張量所述原始待補全張量包括彩色圖像和視頻序列；A2、利用目標張量構建用于張量補全的限定核范數模型，得到張量補全的目標函數；A3、對目標函數進行優化建模，得到能求解目標函數最優解的替代函數；A4、求解替代函數，得到目標張量將目標張量轉換為數據源對應格式，得到彩色圖像和視頻序列的最終補全結果。該方法將改進的限制核范數模型擴展到張量數據補全上以逼近原始張量數據的秩，從而完成張量數據的補全。

技術領域

本發明屬于圖像或視頻的數據計算方法技術領域，尤其涉及一種基于限定核范數的低秩張量估計的視覺數據補全方法。

背景技術

在計算機視覺研究中，很多視覺數據如彩色圖像，視頻序列等往往具有很復雜的高階數據結構，而傳統的數據表示形式如向量和矩陣等不能很好的反映這些多維數據的內在結構。

張量作為向量(一階)和矩陣(二階)表示的更高階(大于等于3的階數)的推廣，能更好的表達諸如圖像、視頻等多維數據的本質結構。在實際獲取數據的過程中，由于傳輸、編碼和數據轉換等可能會造成數據中某些元素的丟失。利用數據中已知元素預測和恢復未知元素的技術稱為張量補全。低秩張量補全是基于低秩張量方法研究的一個重要方面。

目前，低秩張量補全通常是基于兩種不同的張量分解技術：CP分解和Tucker分解。CP分解一個張量為多個秩一張量的和，但基于CP分解的模型通常有計算量高和求解方式復雜等問題。Tucker分解則沿某一維度將一個N階的張量分解為一個核心張量和N個矩陣的模式基，但Tucker分解通常需要預先估計展開矩陣的秩，在實際應用中通常并不能得到正確的估計結果，從而導致補全效果不佳。還有一種處理方式是：運用矩陣補全的技術，采用凸優化方法，直接最小化張量展開后所有矩陣的跡范數和。這種張量補全方式通常可以取得較好的效果，但需要應用奇異值分解(SVD)在所有展開的矩陣數據上，故算法效率較低。

Zhou等人提出的方法(Zhou?P,Lu?C,Lin?Z,et?al.TensorFactorization?forLow-Rank?Tensor?Completion.[J].IEEE?Trans?Image?Process,2017,PP(99):1-1.)中結合矩陣分解的思想，在優化過程中把大的張量數據分解成兩個小的張量數據，迭代的求取原目標函數的解以逼近最優解。該方法速度很快，恢復效果較優，且算法被證明可以收斂到一個KKT點。但該方法沒有考慮到高階張量自身重要的結構信息，采用矩陣分解的方法破壞了張量數據的內在空間結構和低秩結構。而且，在原本張量數據丟失嚴重和待補全張量數據量大的情況下，該方法對數據中的結構信息和數據的低秩特性并不能很好的利用。因而，在對張量數據的補全上效果欠佳。

專利CN201710102313.1“一種基于局部低秩張量估計的視覺數據補全方法”提供了一種基于局部低秩張量估計的張量補全方法。該專利較好的保留了張量數據的局部結構特性，規避了利用張量全局結構信息進行補全而造成局部結構信息丟失的缺陷；對原始圖像和視頻映射為典型的3階張量數據結構，并將原張量有重疊的分解為多個子張量，以最小化子張量的跡范數加權進行迭代的求解；較好的保留了每個數據元素與周圍元素的高相關性，對張量數據補全的效果較優。該專利的技術方案通過將原始數據張量直接分成有重疊的數據規模較小的張量進行補全，分解結果的好壞直接影響最終補全效果。如有重疊的張量在實際應用中并不能正確的估計，最終的補全結果，如彩色圖像的補全，會造成圖像邊緣細節的模糊等問題。此外，該專利補全方法的模型為所有分解后的小張量的跡范數的和，此模型本身并不能很好的逼近原始張量的秩，這也會導致最終的補全效果變差。

發明內容

(一)要解決的技術問題