[發(fā)明專利]高動態(tài)范圍成像方法和裝置

有效

• 申請?zhí)枺?/td>: 202010513374.9
• 申請日: 2020-06-08
• 公開（公告）號: CN111669514B
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 施柏鑫;黃鐵軍;許超;韓金;段沛奇;周矗
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N5/232;G06N3/04;G06N3/08
• 代理公司: 北京挺立專利事務(wù)所(普通合伙) 11265
• 代理人: 高福勇

1.高動態(tài)范圍成像方法，其特征在于，所述方法包括：

對包含神經(jīng)形態(tài)相機(jī)與普通相機(jī)的混合相機(jī)系統(tǒng)進(jìn)行搭建；

通過搭建完成的所述混合相機(jī)系統(tǒng)中的普通相機(jī)拍攝的低動態(tài)范圍圖像與神經(jīng)形態(tài)相機(jī)拍攝并重建的高動態(tài)范圍灰度圖輸入至訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中完成融合成像操作；

其中，所述通過搭建完成的所述混合相機(jī)系統(tǒng)中的普通相機(jī)拍攝的低動態(tài)范圍圖像與神經(jīng)形態(tài)相機(jī)拍攝并重建的高動態(tài)范圍灰度圖輸入至訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中完成融合成像操作包括：

經(jīng)過上采樣亮度融合網(wǎng)絡(luò)將低動態(tài)范圍圖像和高動態(tài)范圍圖像的灰度圖在灰度空間進(jìn)行融合；

將低動態(tài)范圍圖像的色度通道U、色度通道V拼接到融合的高動態(tài)范圍圖像灰度通道；

經(jīng)過色彩補償網(wǎng)絡(luò)進(jìn)行顏色補償，輸出高分辨率彩色的高動態(tài)范圍圖像。

2.根據(jù)權(quán)利要求1所述的高動態(tài)范圍成像方法，其特征在于，所述對包含神經(jīng)形態(tài)相機(jī)與普通相機(jī)的混合相機(jī)系統(tǒng)進(jìn)行搭建包括：采用一部型號為Point Grey Chameleon 3的普通RGB工業(yè)相機(jī)以及一部神經(jīng)形態(tài)相機(jī)完成混合相機(jī)系統(tǒng)的搭建。

3.根據(jù)權(quán)利要求1所述的高動態(tài)范圍成像方法，其特征在于，所述神經(jīng)形態(tài)相機(jī)拍攝并重建的高動態(tài)范圍灰度圖包括：

對于動態(tài)視覺傳感器，使用E2VID網(wǎng)絡(luò)從事件數(shù)據(jù)中重建出包含高動態(tài)范圍信息的灰度圖，其中，灰度圖的分辨率為240×180；

對于仿視網(wǎng)膜采樣模型，使用滑動窗口的方法對脈沖數(shù)據(jù)進(jìn)行積分得到包含高動態(tài)信息的灰度圖，其中，灰度圖的分辨率為400×250。

4.根據(jù)權(quán)利要求1所述的高動態(tài)范圍成像方法，其特征在于，所述訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程包括：對訓(xùn)練數(shù)據(jù)進(jìn)行合成操作并對合成后的數(shù)據(jù)通過神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

5.根據(jù)權(quán)利要求4所述的高動態(tài)范圍成像方法，其特征在于，所述對訓(xùn)練數(shù)據(jù)進(jìn)行合成操作包括：

收集網(wǎng)上高動態(tài)范圍數(shù)據(jù)集，并對所述高動態(tài)范圍數(shù)據(jù)集進(jìn)行劃分為訓(xùn)練集與測試集；

模擬數(shù)碼相機(jī)拍攝流程，通過高動態(tài)范圍圖像生成低動態(tài)范圍圖像；

計算色調(diào)映射過后的高動態(tài)范圍圖像的梯度信息；

通過泊松算子通過梯度信息重建高動態(tài)范圍圖像灰度圖。

6.根據(jù)權(quán)利要求5所述的高動態(tài)范圍成像方法，其特征在于，還包括：

應(yīng)用數(shù)據(jù)增強操作，將原始圖像調(diào)整分辨率大小并隨機(jī)截取為512×512像素的低動態(tài)范圍圖像；

搭配256×256像素的對應(yīng)位置的高動態(tài)范圍灰度圖，且依次通過隨機(jī)概率旋轉(zhuǎn)、鏡面翻轉(zhuǎn)操作對所述原始圖像進(jìn)行前述操作以增加訓(xùn)練數(shù)據(jù)量。

7.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)所述權(quán)利要求1-6中任一項所述方法的步驟。

8.一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)所述權(quán)利要求1-6中任一項所述方法的步驟。