[發明專利]基于結構化觀測的多視點視頻流壓縮感知聯合重建方法

有效

• 申請號: 202111493360.6
• 申請日: 2021-12-08
• 公開（公告）號: CN114095712B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 劉紅;徐博;謝政霖;韓太林;王嘯;鞠明池;劉軒;陳怡嘉;韓鎮宇
• 申請（專利權）人: 長春理工大學
• 主分類號: H04N13/161
• 分類號: H04N13/161;H04N13/106;H04N5/262;H04N19/597;H04N19/51;H04N19/57
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 姬莉

1.一種基于結構化觀測的多視點視頻流壓縮感知聯合重建方法，其特征在于，包括以下步驟：

步驟1、利用相機參數信息將長焦視頻畫面縮小后，通過特征點匹配計算視差值，得到短焦視頻每一幀的視差補償畫面，短焦視頻每一幀畫面與視差補償畫面逐個像素的像素值相減得到差異視頻，即長焦視頻與短焦視頻之間的差異信息；具體包括：

步驟1.1：根據長焦視頻以及短焦視頻的相機參數，計算出長焦視頻的畫面在短焦視頻畫面中的比例關系；

步驟1.2：將每一幀長焦視頻畫面按步驟1.1得到的比例關系縮小后，處理成重組長焦畫面；

步驟1.3：利用重組長焦畫面與短焦視頻的第一幀畫面，采用特征點匹配的方法，獲得視差值，通過視差值得到重組長焦畫面與短焦畫面中像素點的映射關系；

步驟1.4：對于重組長焦畫面與短焦視頻的第i幀，利用步驟1.3得到的映射關系，獲得短焦視頻在該幀的視差補償畫面，然后將短焦畫面與補償畫面逐個像素的像素值相減得到差異畫面；

步驟1.5：重復步驟1.4，直到長焦與短焦視頻的視頻流數據處理結束，得到長焦視頻以及短焦視頻之間的差異部分構成的差異視頻；

步驟2、使用分布式視頻壓縮感知分別傳輸長焦視頻以及差異信息；

步驟3、重構長焦視頻以及差異信息，具體包括；

在解碼端，先利用傳統解碼方式或者壓縮感知重構算法分別重建長焦視頻以及差異視頻的關鍵幀，并通過運動估計和運動補償計算邊信息；利用邊信息和接收到的各個視頻非關鍵幀的測量值，通過重構算法重構長焦視頻以及差異視頻的非關鍵幀，完成長焦視頻與差異信息的重構；

步驟4、將重構的長焦視頻的畫面縮小后，通過視差值得到短焦視頻每一幀的視差補償畫面，差異信息與視差補償畫面逐個像素的像素值相加得到重構的短焦視頻，具體包括：

步驟4.1：利用上述步驟1.1獲得的比例關系將每一幀重構長焦視頻的畫面縮小，并處理得到重組長焦畫面；

步驟4.2：利用上述步驟1.2獲得的視差值以及像素點映射關系通過重組長焦畫面得到短焦視頻每一幀的視差補償畫面；

步驟4.3：將差異視頻每一幀畫面與對應幀的視差補償畫面逐個像素的像素值相加，獲得重構的短焦視頻。

2.根據權利要求1所述的基于結構化觀測的多視點視頻流壓縮感知聯合重建方法，其特征在于，所述長焦視頻和短焦視頻分別通過長焦相機和短焦相機采集。

3.根據權利要求1所述的基于結構化觀測的多視點視頻流壓縮感知聯合重建方法，其特征在于，所述采用特征點匹配的方法獲得視差值具體包括：

將重組長焦畫面與短焦畫面的第一幀進行特征點匹配，通過所有特征點的平均歐氏距離獲得視差值，建立兩幅畫面之間的映射關系，其中歐氏距離定義為：

e_i＝||y(a_i)-y(b_i)||

式中，a_i、b_i分別表示兩個畫面中匹配的特征點，i＝1,2,…,N；N表示特征點的數量，y(·)表示該特征點的列坐標值；

確定各個特征點的歐氏距離后，通過計算均值得到視差值，定義為：

式中，d表示兩個畫面的視差值。

4.根據權利要求1所述的基于結構化觀測的多視點視頻流壓縮感知聯合重建方法，其特征在于，所述視差補償畫面指的是通過視差值可以將重組長焦畫面與短焦畫面的像素點建立對應關系，映射成補償畫面，補償畫面由下式得到：

c(x,y+d)＝r(x,y)

式中，c表示補償畫面，r表示重組長焦畫面，d表示視差值，x∈(x₁,x₂)，y∈(y₁,y₂)，x₁、x₂、y₁、y₂分別代表縮小后的長焦畫面在重組畫面中的橫坐標下限、上限，縱坐標下限、上限。