[發明專利]一種硬件在線可重配置的雙幀曝光寬動態視頻合成方法

在審

• 申請號: 202111133254.7
• 申請日: 2021-09-27
• 公開（公告）號: CN113873171A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 張弘;張鵬;楊一帆;李旭亮;閆超奇;袁丁
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N5/232
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

本發明涉及一種硬件在線可重配置的雙幀曝光寬動態視頻合成方法，包括以下步驟：(1)利用單片機控制相機的快門時間得到連續的兩幀過曝光與欠曝光圖像。(2)將得到的欠曝光與過曝光圖像進行RGB顏色空間和YCrCb顏色空間的轉換，得到圖像亮度分量和顏色分量。(3)采用傳統空間域線性變換方法對亮度分量圖像與顏色分量圖像進行分段線性變換。(4)將線性變換后的兩幀過曝光和欠曝光圖像的亮度分量圖像與顏色分量圖像進行合成(5)將合成后圖像進行Gamma校正。(6)將合成后圖像進行YCrCb顏色空間和RGB顏色空間的轉換。

技術領域

本發明涉及一種硬件在線可重配置的雙幀曝光寬動態視頻合成方法，在視頻監控系統中出現明暗反差較大或逆光的場景時，會使整個圖像中明亮的區域曝光過度、較暗的區域曝光不足，而看不清圖像最亮與最暗部分，如在銀行儲蓄所、重要場所出入口等。本發明旨在上述場景中輸出清晰、明亮均衡的實時圖像。

背景技術

數字成像系統的動態范圍是指采集到的同一幀圖像中最大像素值與最小像素值的比。由于成像系統的動態范圍遠小于真實場景的動態范圍，監控圖像無法對亮區和暗區同時清晰成像。隨著科學技術的不斷發展，數字監控系統的應用已經滲透到人類生產、生活的各個領域，而為了滿足人類對于不同場景下對視頻的特定需求，需要針對獲取的原始視頻進行相應的處理，在某些明暗反差很大的場合(如逆光時)，傳統的攝像機受CCD或CMOS感光特性所限，亮區和暗區的細節均難以保持，嚴重影響圖像質量。針對這種情況，寬動態(Wide Dynamic Range-WDR)成像技術應運而生。WDR技術旨在使攝像機在視場存在非常強烈的明暗對比時依然能清晰成像。相比于傳統的圖像，它可以同時記錄和顯示處于場景中非常亮和非常暗的區域中的可視細節信息，也即明亮區域未飽和且陰暗區域并非完全黑暗。由于使用寬動態技術可以避免因為拍攝方向(例如逆光)和曝光量的不同而使圖像存在亮度和色差而影響建模，非常有利于在復雜環境下獲得更高的成像質量，因此它被廣泛應用于模式識別、智能交通系統、深空探測、基于圖像的建模和渲染機、計算機圖形學和圖像處理、視頻監控、跟蹤，機器人視覺導航、工業檢測、遙感遙測、軍事偵察、武器的導航制導等很多領域。

目前的寬動態視頻獲取技術有著多種分類。按照所使用硬件設備的不同可以分為基于改進采集設備的直接獲取方法、基于高動態范圍相機的方法和基于普通傳感器的方法。其中基于普通傳感器的方法按照軟件處理方式的不同，又可以分為基于高動態范圍成像和色調映射技術的方法與基于多曝光直接合成的方法。在使用多次曝光法擴展傳統相機的動態范圍時，有兩種獲取寬動態圖像的途徑，一是基于高動態范圍圖像和色調映射的方法，另一種是多曝光圖像直接融合的方法。基于高動態范圍圖像和色調映射的方法這類方法首先利用曝光量信息，通過處理同一場景的一組不同曝光量的低動態范圍圖像合成高動態范圍圖像，再使用色調映射的方法對合成出的高動態范圍圖像進行處理，使其動態范圍被壓縮至與傳統低動態范圍圖像相同的同時保留大部分可視化信息。多曝光圖像直接融合的方法使用不同的曝光時間對同一場景進行多次采樣，獲得場景中亮度不同區域的細節，通過將這組圖像進行有效地融合獲得高動態范圍的圖像，同時抑制隨機噪聲。融合后的圖像能夠保持全局和局部的對比度，因此能夠保留亮區和暗區內盡可能多的細節信息，進而反映出全局的亮度差異，現有的圖像融合算法主要針對多傳感器及多光譜圖像，對曝光融合的研究較少。

目前為止，除時域多次曝光法，其他的方法都需要對采集設備進行特別的設計，成本很高，不適于直接應用于現有的普通成像系統或低端圖像采集設備。因此本發明主要研究對象是時域多次曝光法，國內針對寬動態視頻合成方面的專利存在的主要問題是：效果好的算法大多運算量巨大，缺乏實用性；運算量較小的算法則往往適用范圍有限，在實際應用場合中效果難以保證。

總之，現有技術經常把寬動態和數字寬動態混淆在一起。數字寬動態是寬動態技術中最容易實現的一種技術，而真實的寬動態能確保在大部分強光或逆光監控環境下，拍出清晰的圖像。數字寬動態只能解決部分畫面問題，無法解決全部。真實寬動態采用的是軟硬結合的方案，使用圖像傳感器對圖像進行多次曝光，然后傳送到圖像處理器進行寬動態計算并輸出明亮均衡的圖像。

發明內容