[發明專利]基于結構化觀測的多視點視頻流壓縮感知聯合重建方法

有效

• 申請號: 202111493360.6
• 申請日: 2021-12-08
• 公開（公告）號: CN114095712B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 劉紅;徐博;謝政霖;韓太林;王嘯;鞠明池;劉軒;陳怡嘉;韓鎮宇
• 申請（專利權）人: 長春理工大學
• 主分類號: H04N13/161
• 分類號: H04N13/161;H04N13/106;H04N5/262;H04N19/597;H04N19/51;H04N19/57
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 姬莉

本發明提供了一種基于結構化觀測的多視點視頻流壓縮感知聯合重建方法，屬于視頻壓縮傳輸領域，包括：利用相機參數信息將長焦視頻畫面縮小后，通過特征點匹配計算視差值，得到短焦視頻每一幀的視差補償畫面，短焦視頻每一幀畫面與視差補償畫面逐個像素的像素值相減得到差異視頻，即長焦視頻與短焦視頻之間的差異信息；使用分布式視頻壓縮感知分別傳輸長焦視頻以及差異信息；重構長焦視頻以及差異信息；將重構的長焦視頻的畫面縮小后，通過視差值得到短焦視頻每一幀的視差補償畫面，差異信息與視差補償畫面逐個像素的像素值相加得到重構的短焦視頻。該方法可應用于傳輸不同焦距的多視點視頻，有效節省傳輸帶寬以及計算資源，提高傳輸效率。

技術領域

本發明屬于視頻壓縮傳輸領域，具體涉及一種基于結構化觀測的多視點視頻流壓縮感知聯合重建方法。

背景技術

近年來，目標檢測技術發展迅猛，該技術需要使用相機來采集場景畫面，以實現物體檢測、目標測距等功能，已廣泛應用于機器人視覺、智能輔助駕駛等領域。目前，特斯拉已成功將多目多焦檢測技術應用于汽車自動駕駛，該技術使用多個不同焦距的相機，兼顧了視野范圍以及遠距離測距。

多目多焦檢測技術需要采集多路不同焦距的視頻，往往會帶來傳輸速度慢的問題，且視頻之間存在大量高度相似的畫面，浪費了傳輸帶寬和存儲空間。后續學者們提出了多視點視頻壓縮感知技術，該技術應用于焦距相同的多視點視頻時，利用同一幀畫面間包含大量相同數據的特點來去除冗余數據，有效減小傳輸的數據量，卻無法用于不同焦距的多視點視頻的壓縮傳輸。

多目多焦檢測技術使用多個不同參數的相機，在焦距不同時，長焦相機采集的畫面與短焦相機采集畫面中的一部分高度相似。而現有多視點視頻壓縮感知技術大多都適用于相同焦距的相機所拍攝的多視點視頻，無法用于不同焦距的多視點視頻的壓縮傳輸，且現有技術對每個視頻的每一幀采用標準壓縮感知進行獨立壓縮測量，注重于去除視頻間的冗余數據，沒有考慮視頻本身的高效傳輸。

因此，本申請提出一種基于結構化觀測的多視點視頻流壓縮感知聯合重建方法。

發明內容

為了克服上述現有技術存在的不足，本發明提供了一種基于結構化觀測的多視點視頻流壓縮感知聯合重建方法。

為了實現上述目的，本發明提供如下技術方案：

一種基于結構化觀測的多視點視頻流壓縮感知聯合重建方法，以下步驟：

步驟1、利用相機參數信息將長焦視頻畫面縮小后，通過特征點匹配計算視差值，得到短焦視頻每一幀的視差補償畫面，短焦視頻每一幀畫面與視差補償畫面逐個像素的像素值相減得到差異視頻，即長焦視頻與短焦視頻之間的差異信息；

步驟2、使用分布式視頻壓縮感知分別傳輸長焦視頻以及差異信息；

步驟3、重構長焦視頻以及差異信息；

步驟4、將重構的長焦視頻的畫面縮小后，通過視差值得到短焦視頻每一幀的視差補償畫面，差異信息與視差補償畫面逐個像素的像素值相加得到重構的短焦視頻。

優選地，所述長焦視頻和短焦視頻分別通過長焦相機和短焦相機采集。

優選地，所述提取長焦視頻與短焦視頻之間的差異信息具體包括：

步驟1.1：根據長焦視頻以及短焦視頻的相機參數，計算出長焦視頻的畫面在短焦視頻畫面中的比例關系；

步驟1.2：將每一幀長焦視頻畫面按步驟1.1得到的比例關系縮小后，處理成重組長焦畫面；

步驟1.3：利用重組長焦畫面與短焦視頻的第一幀畫面，采用特征點匹配的方法，獲得視差值，通過視差值得到重組長焦畫面與短焦畫面中像素點的映射關系；