[發(fā)明專利]一種在Bayer數(shù)據(jù)域?qū)崿F(xiàn)HDR的圖像處理的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810851971.5
• 申請日: 2018-07-30
• 公開（公告）號: CN109345464A
• 公開（公告）日: 2019-02-15
• 發(fā)明（設計）人: 葉穎聰;徐洪;徐琳
• 申請（專利權(quán)）人: 深圳市艾為智能有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京華仲龍騰專利代理事務所(普通合伙) 11548
• 代理人: 李靜

本發(fā)明公開了一種基于可編程處理器芯片和HDR Sensor實現(xiàn)在Bayer數(shù)據(jù)域進行HDR圖像合成、色調(diào)變換和位寬壓縮的圖像處理方法和系統(tǒng)，所述系統(tǒng)HDR Sensor單元，IO接口單元A、IO接口單元和B、FIFO單元和HDR處理單元；由于系統(tǒng)采用行內(nèi)交錯曝光的采樣方式，HDR處理單元不需要緩存完整一幀數(shù)據(jù)，只需要緩存少數(shù)幾行像素就可以開始HDR處理，降低了系統(tǒng)延遲，降低了存儲開銷。由于本系統(tǒng)和方法去除了圖像處理系統(tǒng)對ISP功能中HDR特性的依賴，所以不支持HDR功能的ISP芯片也可以用于構(gòu)建具備HDR效果的圖像處理系統(tǒng)，從而使構(gòu)建HDR效果的圖像處理系統(tǒng)的方案選型更加靈活便利。

技術(shù)領域

本發(fā)明涉及圖像處理技術(shù)領域，更具體地說，它涉及一種基于可編程處理器芯片實現(xiàn)在Bayer數(shù)據(jù)域進行HDR圖像合成和色調(diào)映射的方法和系統(tǒng)。

背景技術(shù)

在人類的日常生活場景中，從刺目的陽光到極暗的星光，環(huán)境亮度的變化范圍超過8個數(shù)量級，即動態(tài)范圍大于160dB。人眼由于經(jīng)過長期進化能夠適5～6個數(shù)量級的亮度變化，即動態(tài)范圍達到100～120dB。普通的CMOS Sensor(以下簡稱Sensor)只能提供60dB左右的動態(tài)范圍，遠遠不能滿足記錄真實世界中高動態(tài)場景的需求，因此稱為LDR(LowDynamic Range)Sensor。目前能夠提供HDR(High Dynamic Range)即高動態(tài)范圍的Sensor可以提供100～120dB的動態(tài)范圍，能夠更好地記錄真實世界場景中的亮度信息。

由于常見的數(shù)字圖像顯示設備通常只支持256個亮度級，并不能直接顯示HDR圖像，因此在圖像顯示之前的某個階段需要對HDR圖像進行動態(tài)范圍壓縮以適應顯示設備的能力。局部色調(diào)映射(Local Tone Mapping)是一類效果比較好的動態(tài)范圍壓縮算法，已經(jīng)得到了廣泛的研究和應用，不足之處是此類算法復雜度通常較高，運算量較大，消耗資源很大。

有多種不同的原理可以實現(xiàn)HDR Sensor，其中一種HDR實現(xiàn)方式是采用行內(nèi)交錯長短曝光的方法，即Line-based Staggered HDR方法，采用所述方法的HDR Sensor以行為單位輸出像素數(shù)據(jù)，通常是位寬為10比特或12比特的Bayer格式數(shù)據(jù)，每行中先后輸出兩組數(shù)據(jù)，分別對應長、短兩種不同曝光量下采集的像素值。

包括所述行內(nèi)交錯長短曝光方法在內(nèi)的各種HDR實現(xiàn)方法都需要在Sensor后端搭配某種形式的ISP(Signal Processor)即圖像信號處理器，在所述ISP內(nèi)部完成高動態(tài)范圍圖像的合成處理。

在現(xiàn)有技術(shù)中，ISP內(nèi)部通常是以流水線方式對圖像進行HDR合成處理。一種典型的流水線是將HDR Sensor輸出的Bayer格式圖像根據(jù)曝光量不同分離成兩幀分別存儲，等緩存到足夠多的數(shù)據(jù)后分別進行Bayer2RGB及RGB2YUV轉(zhuǎn)換得到Y(jié)UV格式圖像，然后對兩幀YUV圖像進行HDR合成得到一幀高動態(tài)圖像，最后進行YUV2RGB轉(zhuǎn)換得到RGB格式的圖像。

現(xiàn)有技術(shù)中，所述流水線方法存在的不足之處是色彩空間變換操作的環(huán)節(jié)較多，由于存在大量的浮點數(shù)運算，每次操作都會引入一些精度誤差并影響最終的HDR處理效果。

現(xiàn)有技術(shù)中，另外一個不足之處是由于操作步驟多，系統(tǒng)資源開銷(芯片面積、功耗等)很大，增加了系統(tǒng)實施的成本。

現(xiàn)有技術(shù)中，另外一個不足之處是出于控制系統(tǒng)成本的需要，常常選用運算相對簡單的色調(diào)映射方法，而較少選用效果更好但是復雜度較高、運算量較大的色調(diào)映射方法。

現(xiàn)有技術(shù)中，另外一個不足之處是ISP需要等到兩幀圖像全部緩存到存儲器之后才能開始HDR合成處理，因此系統(tǒng)延遲較大，不適合有低延遲需求的應用場合。

現(xiàn)有技術(shù)中，另外一個不足之處是如果ISP不支持HDR功能則無法與HDR Sensor配合得到HDR圖像。

發(fā)明內(nèi)容