[發明專利]一種快速的HDR視頻重建方法

在審

• 申請號: 202110993299.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113973175A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 張濤;梁杰;王昊
• 申請（專利權）人: 天津大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

高質量的視頻在SLAM和視頻監控中非常重要，它可以清晰地監控感興趣的物體或活動，提高SLAM的定位精度。將低質量的視頻轉化為高質量的視頻越來越成為機器人任務的關鍵，高動態范圍(HDR)成像技術代表了高質量的圖像，并得到了越來越廣泛的應用。與傳統的低動態范圍(LDR)圖像和視頻提供的像素相比，HDR圖像和視頻中包含的像素代表了更大的顏色和亮度范圍。HDR成像是一種用于照相的技術，它比標準數碼相機捕捉到更大的動態亮度范圍。HDR成像的目的是產生一個類似于人類視覺系統所觀察到的真實世界的亮度范圍，使觀察者獲得更真實、更具吸引力的體驗。

一、技術領域

本發明提出了一種采用分而治之的策略加速LDR視頻重建HDR視頻的方法，屬于HDR視頻重建領域。

二、背景技術

高質量的視頻在SLAM和視頻監控中非常重要，它可以清晰地監控感興趣的物體或活動，提高SLAM的定位精度。將低質量的視頻轉化為高質量的視頻越來越成為機器人任務的關鍵，高動態范圍(HDR)成像技術代表了高質量的圖像，并得到了越來越廣泛的應用。與傳統的低動態范圍(LDR)圖像和視頻提供的像素相比，HDR圖像和視頻中包含的像素代表了更大的顏色和亮度范圍。真實場景的亮度可以從明亮的陽光直射到極端的陰影。標準數碼相機通常使用8位來表示圖像的每個色通道，其中一個主要的缺點是這種表示方法不能捕捉真實場景中的所有亮度范圍。HDR成像是一種用于照相的技術，它比標準數碼相機捕捉到更大的動態亮度范圍。HDR成像的目的是產生一個類似于人類視覺系統所觀察到的真實世界的亮度范圍，使觀察者獲得更真實、更具吸引力的體驗。

為了實現從LDR圖像重建HDR，反色調映射算法有很大的潛力，通過恢復給定圖像中丟失的信號將大量原始LDR圖像轉換為HDR圖像，但這些算法只能在特定類型的場景中執行。近年來，隨著深度學習技術的迅速發展，提出了基于神經網絡的高動態范圍圖像重建方法。 Endo等人、Lee等人和Eilertsen等人利用深度神經網絡成功地恢復了丟失的動態范圍。

本文提出了一種基于分治策略的運動目標監控/靜態攝像機HDR視頻幀重建的快速方法。分治策略在其他領域和研究課題中也有應用，但在HDR視頻重建問題中卻從未被探討過。我們在HDR視頻重建中探索了這種有效的策略來探索視頻中的時間信息，這是以前從未被有效探索過的。具體來說，我們首先使用目標檢測方法將前景從整個圖像中分離出來，然后訓練指定的背景和前景網絡，通過上下文感知約束連接起來。一旦兩者都訓練好，這個框架就把背景和前景合成成HDR視頻幀。為了克服合成過程中前景和背景色調不一致的問題，設計了一種上下文感知丟失約束，為前景HDR的背景訓練提供上下文信息。實驗結果表明，該方法可以在更短的時間內重建出高質量的HDR視頻幀。

三、發明內容

針對具有運動目標的監控攝像機，本發明提出了一種采用分治策略加速HDR視頻幀重建的方法。該框架由兩個連接的CNN分支組成，對整個HDR視頻重建過程進行建模。在這個過程中，我們使用目標檢測算法來分離視頻幀的前景和背景，然后訓練CNN分支來重建背景和前景幀，并將兩個分支連接起來。將增強后的HDR前景和背景進行合成，重建最終的HDR視頻幀。提出了端到端框架下的上下文感知丟失約束，以消除合成過程中前景和背景色調不一致的問題。我們在基準數據集上驗證了本發明提出的方法，結果表明該方法能夠準確地重建HDR視頻幀，在保證每個視頻幀的HDR圖像效果的同時，大大縮短了重建HDR視頻的時間。

表一 不同方法的定量比較

五、具體實施方式

1.制作目標視頻場景。本發明提出了一種從LDR視頻幀中重建HDR視頻幀的快速方法，對于視頻序列，我們首先使用快速目標檢測算法來分離背景和前景；然后對背景網絡和前景網絡進行訓練，生成背景HDR幀和前景HDR幀，并對其進行合成，重構出最終的HDR視頻幀。