[發明專利]端到端雙目圖像聯合壓縮方法、裝置、設備和介質

有效

• 申請號: 202011582319.1
• 申請日: 2020-12-28
• 公開（公告）號: CN112702592B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 鄧欣;楊文哲;徐邁;關振宇;李大偉;段一平
• 申請（專利權）人: 北京航空航天大學;清華大學
• 主分類號: H04N13/161
• 分類號: H04N13/161;H04N13/122;H04N19/13;H04N19/149
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

1.一種端到端雙目圖像聯合壓縮方法，其特征在于，基于端到端雙目圖像聯合壓縮模型實現，所述壓縮模型包括深度網絡回歸模型、第一編碼器、第一條件熵模型、第二編碼器和第二條件熵模型，所述第一條件熵模型與所述第二條件熵模型屬于相同類型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型；所述方法包括：

將雙目圖像中第一目圖像輸入所述第一編碼器，得到用于表征所述第一目圖像的第一圖像特征；

利用所述第一條件熵模型對所述第一圖像特征進行壓縮處理，得到所述第一目圖像的壓縮碼流數據；

將所述第一目圖像和所述雙目圖像中的第二目圖像輸入所述深度網絡回歸模型，輸出所述第一目圖像和所述第二目圖像之間的單應性透視變換矩陣；

基于所述單應性透視變換矩陣對所述第一目圖像進行透視變換，得到第一變換圖像；

利用所述第二編碼器確定所述第二目圖像和所述第一變換圖像之間的差異圖像數據，并基于所述差異圖像數據，得到用于表征所述第二目圖像的第二圖像特征；

利用所述第二條件熵模型，基于所述第一圖像特征，對所述第二圖像特征進行壓縮處理，得到所述第二目圖像的壓縮碼流數據。

2.根據權利要求1所述的方法，其特征在于，如果所述第一條件熵模型與所述第二條件熵模型均為所述基于混合高斯模型的熵模型，則所述第一條件熵模型包括第一量化器、第一熵編碼器、用于生成超先驗參數的第一變換網絡模塊和第一混合高斯模型，所述第二條件熵模型包括第二量化器、第二熵編碼器、用于生成超先驗參數的第二變換網絡模塊和第二混合高斯模型；

相應的，所述利用所述第一條件熵模型對所述第一圖像特征進行壓縮處理，得到所述第一目圖像的壓縮碼流數據，包括：

將所述第一圖像特征輸入所述第一量化器，得到第一量化結果；

將所述第一圖像特征輸入所述第一變換網絡模塊，生成第一超先驗參數；

將所述第一超先驗參數輸入所述第一混合高斯模型，估計所述第一量化結果的概率分布；

基于所述第一量化結果的概率分布和所述第一量化結果，利用所述第一熵編碼器得到所述第一目圖像的壓縮碼流數據；

相應的，所述利用所述第二條件熵模型，基于所述第一圖像特征，對所述第二圖像特征進行壓縮處理，得到所述第二目圖像的壓縮碼流數據，包括：

將所述第二圖像特征輸入所述第二量化器，得到第二量化結果；

將所述第二圖像特征輸入所述第二變換網絡模塊，生成第二超先驗參數；

對所述第二超先驗參數進行上采樣，并將上采樣之后的第二超先驗參數和所述第一量化結果進行合并；

將合并結果輸入所述第二混合高斯模型，估計所述第二量化結果的概率分布；

基于所述第二量化結果的概率分布和所述第二量化結果，利用第二熵編碼器得到所述第二目圖像的壓縮碼流數據。

3.根據權利要求2所述的方法，其特征在于：

所述第一量化結果的概率分布表示如下：

其中，N表示高斯函數的個數，分別為所述第一混合高斯模型的參數，表示所述第一超先驗參數，表示所述第一量化結果；

所述第二量化結果的概率分布表示如下：

其中，N表示高斯函數的個數，分別為所述第二混合高斯模型的參數，表示所述第二超先驗參數，表示所述第一量化結果，表示所述第二量化結果。