[發明專利]基于光場多視角視頻壓縮方法及其裝置、設備和介質

在審

• 申請號: 201910248121.0
• 申請日: 2019-03-29
• 公開（公告）號: CN111757125A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 胡強;石志儒
• 申請（專利權）人: 曜科智能科技（上海）有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/503;H04N19/177;H04N19/124;H04N19/70
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 高彥

本申請提供的一種基于光場多視角視頻壓縮方法及其裝置、設備和存儲介質，通過獲取原始光場圖像數據；將所述原始光場圖像數據轉換為5維光場數據結構的全光圖像；依據所述全光圖像轉換成一組N×N子孔徑圖像，并據以處理形成N個偽視頻序列，以輸入視頻編碼器；采用自適應預測方法將偽視頻序列中的每個幀對應劃分為不同的預測級別，以供進行預測編碼；依據各所述幀對應的所述預測等級相應設定各所述幀進行編碼所需的量化參數，以供進行壓縮。本申請能夠使光場數據得到了大幅的壓縮，提高了整體光場視頻的壓縮效率。

技術領域

本發明涉及視頻編碼技術領域，特別是涉及一種基于光場多視角視頻壓縮方法及其裝置、設備和存儲介質。

背景技術

隨著網絡多媒體技術的快速發展，虛擬現實技術的應用逐漸普及，消費者對視覺體驗多樣化的需求越來越高，使得光場技術得到了更多的關注。在場景中捕獲空間和角度信息可以實現各種后處理應用，如重建三維場景模型、重新聚焦于不同的深度平面、改變景深等。光場捕獲技術用于捕捉場景中光線的空間和角度信息，獲得信息更為豐富的四維圖像,帶來了很多新的攝影特性和玩法。

如果相機能夠記錄下所有入射光的數據,就可以重建出被光照射物體的所有信息。一個光場可以由一個全光相機或多個傳統相機捕獲。前者捕獲密集光場，后者捕獲稀疏光場。然而，大量的光場應用必然會產生海量的視頻數據，這些光場數據量也給視頻的存儲及傳輸帶來了巨大的壓力。因此，高效的光場視頻編碼方法成為了光場應用的關鍵。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供一種基于光場多視角視頻壓縮方法及其裝置、設備和存儲介質，以解決現有技術中視頻事件提取的問題。

為實現上述目的及其他相關目的，本申請提供一種基于光場多視角視頻壓縮方法，所述方法包括：獲取原始光場圖像數據；將所述原始光場圖像數據轉換為5維光場數據結構的全光圖像；依據所述全光圖像轉換成一組N×N子孔徑圖像，并據以處理形成N個偽視頻序列，以輸入視頻編碼器；采用自適應預測方法將偽視頻序列中的每個幀對應劃分為不同的預測級別，以供進行預測編碼；依據各所述幀對應的所述預測等級相應設定各所述幀進行編碼所需的量化參數，以供進行壓縮。

于本申請的一實施例中，N個所述偽視頻序列對應N個不同視角；各所述偽視頻序列包含N個幀并對應為一組圖像序列。

于本申請的一實施例中，所述視頻編碼器為MV-HEVC編碼器；通過幀間預測和視角間預測以減小對應不同視角的所述子孔徑圖像之間的時域之間和/或視角之間的冗余。

于本申請的一實施例中，所述采用自適應預測方法將偽視頻序列中的每個幀對應劃分為不同的預測級別的方法包括：依據所述幀對應的質量劃分預測級別；所述幀對應的質量降低，所述預測級別相應遞減；較高所述預測級別對應的所述幀作為較低所述預測級別對應的所述幀的參考幀，以進行預測和編碼。

于本申請的一實施例中，各所述偽視頻序列包含N個幀并對應為一組圖像序列；所述采用自適應預測方法將偽視頻序列中的每個幀對應劃分為不同的預測級別的方法還包括：各所述偽視頻序列對應的所述圖像序列中的第一幀為各所述偽視頻序列的關鍵幀；對應所述預測級別最高的幀依據所述關鍵幀進行預測和編碼；對應所述預測級別非最高的幀依據所述關鍵幀或參考幀進行預測和編碼。

于本申請的一實施例中，各所述偽視頻序列對應的所述圖像序列中的第一幀為各所述偽視頻序列的關鍵幀；依據各所述幀對應的所述預測等級相應設定各所述幀進行編碼所需的量化參數的方法包括：依據關鍵幀設置一基礎量化參數；位于同一所述圖像序列中的其余各所述幀則依據所述預測等級在所述基礎量化參數的基礎上進行偏移以得到其余各所述幀對應的所述量化參數。