[發明專利]端到端雙目圖像聯合壓縮方法、裝置、設備和介質

有效

• 申請號: 202011582319.1
• 申請日: 2020-12-28
• 公開（公告）號: CN112702592B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 鄧欣;楊文哲;徐邁;關振宇;李大偉;段一平
• 申請（專利權）人: 北京航空航天大學;清華大學
• 主分類號: H04N13/161
• 分類號: H04N13/161;H04N13/122;H04N19/13;H04N19/149
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

本公開實施例涉及一種端到端雙目圖像聯合壓縮方法、裝置、設備和介質，其中，該方法包括：將雙目圖像中第一目圖像輸入第一編碼器，得到第一圖像特征；利用第一條件熵模型對第一圖像特征進行壓縮處理；將第一目圖像和雙目圖像中的第二目圖像輸入深度網絡回歸模型，輸出單應性透視變換矩陣；基于單應性透視變換矩陣對第一目圖像進行透視變換，得到第一變換圖像；利用第二編碼器確定第二目圖像和第一變換圖像之間的差異圖像數據，并基于差異圖像數據得到第二圖像特征；利用第二條件熵模型對第二圖像特征進行壓縮處理。本公開實施例降低了雙目圖像壓縮的計算復雜度，充分挖掘了兩幅圖像之間的相關性，降低了編碼比特率，并且方案適用范圍更為廣泛。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種端到端雙目圖像聯合壓縮方法、裝置、設備和介質。

背景技術

雙目圖像聯合壓縮(Stereo image compression，SIC)旨在共同壓縮一對左右的雙目影像，實現兩個圖像的高質量高效率壓縮。在自動駕駛領域、虛擬現實、和視頻監視領域，雙目圖像聯合壓縮技術已成為最關鍵的技術之一，也在最近引起了來自學術界和工業界越來越多的關注。通過充分利用兩個圖像中的互信息，SIC與獨立壓縮每個圖像相比，可以獲得更高的壓縮率。

與單目圖像壓縮相比，SIC為更具挑戰性，需要充分利用左右雙目圖像之間的內在聯系。現有的SIC方法包括：(1)依靠匹配提取人為設計的特征點，采用傳統的優化理論使速率失真損失最小化，但這種壓縮方式限制了壓縮效率；(2)基于深度學習的雙目圖像壓縮方法(Deepstereo image compression，DSIC)，利用雙目圖像對之間的內容冗余來降低聯合比特率，但該方法是密集參數連接的圖像匹配方案，具有很高的計算復雜度，而且，該方法要求左右圖像必須在同一水平線上，即雙目圖像拍攝過程中攝像機的水平位置需要保持一致，導致方案只能適用一些特定情況。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開實施例提供了一種端到端雙目圖像聯合壓縮方法、裝置、設備和介質。

第一方面，本公開實施例提供了一種端到端雙目圖像聯合壓縮方法，基于端到端雙目圖像聯合壓縮模型實現，所述壓縮模型包括深度網絡回歸模型、第一編碼器、第一條件熵模型、第二編碼器和第二條件熵模型，所述第一條件熵模型與所述第二條件熵模型屬于相同類型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型；所述方法包括：

將雙目圖像中第一目圖像輸入所述第一編碼器，得到用于表征所述第一目圖像的第一圖像特征；

利用所述第一條件熵模型對所述第一圖像特征進行壓縮處理，得到所述第一目圖像的壓縮碼流數據；

將所述第一目圖像和所述雙目圖像中的第二目圖像輸入所述深度網絡回歸模型，輸出所述第一目圖像和所述第二目圖像之間的單應性透視變換矩陣；

基于所述單應性透視變換矩陣對所述第一目圖像進行透視變換，得到第一變換圖像；

利用所述第二編碼器確定所述第二目圖像和所述第一變換圖像之間的差異圖像數據，并基于所述差異圖像數據，得到用于表征所述第二目圖像的第二圖像特征；

利用所述第二條件熵模型，基于所述第一圖像特征，對所述第二圖像特征進行壓縮處理，得到所述第二目圖像的壓縮碼流數據。

第二方面，本公開實施例還提供了一種端到端雙目圖像聯合壓縮裝置，基于端到端雙目圖像聯合壓縮模型實現，所述壓縮模型包括深度網絡回歸模型、第一編碼器、第一條件熵模型、第二編碼器和第二條件熵模型，所述第一條件熵模型與所述第二條件熵模型屬于相同類型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型，所述裝置包括：

第一圖像特征確定模塊，用于將雙目圖像中第一目圖像輸入所述第一編碼器，得到用于表征所述第一目圖像的第一圖像特征；