[發(fā)明專利]一種自適應(yīng)曝光驅(qū)動(dòng)相機(jī)攝影水下圖像處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210487677.7
• 申請日: 2022-05-06
• 公開（公告）號: CN114900619B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 鄧岳;章修惠;顧祚亞;李洪玨
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: H04N23/70
• 分類號: H04N23/70;H04N23/95;G06N3/084;G06N3/045;G06N3/048;G06N3/0442
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 符繼超

本發(fā)明公開了一種自適應(yīng)曝光驅(qū)動(dòng)相機(jī)攝影水下圖像處理系統(tǒng)，包括：可編程相機(jī)和計(jì)算處理設(shè)備；所述計(jì)算處理設(shè)備包括：自適應(yīng)曝光模塊和預(yù)訓(xùn)練水下圖像復(fù)原模塊。該系統(tǒng)將可編程相機(jī)前一幀捕捉到的圖像編碼后送入自適應(yīng)曝光模塊中，通過對前一幀圖像的處理，對可編程相機(jī)快門速度、感光度、光圈等參數(shù)進(jìn)行全面調(diào)整；保證拍攝到的原圖像利于深度網(wǎng)絡(luò)提取并利用特征；最后經(jīng)過預(yù)訓(xùn)練水下圖像復(fù)原模塊，評判智能體執(zhí)行動(dòng)作的優(yōu)劣并輸出得到顏色校正和特征增強(qiáng)之后的圖像，取得更優(yōu)質(zhì)的效果，可提高水下作業(yè)的效率和準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及海底勘測及圖像處理技術(shù)領(lǐng)域，特別涉及一種自適應(yīng)曝光驅(qū)動(dòng)相機(jī)攝影水下圖像處理系統(tǒng)。

背景技術(shù)

水下機(jī)器人在執(zhí)行海底勘測、海洋生物多樣性調(diào)查、事故調(diào)查、目標(biāo)檢測和路徑規(guī)劃等任務(wù)時(shí)，由于海水對自然光中不同波長的光衰減率不同，水下攝像頭傳輸?shù)挠跋駮?huì)存在顏色失真的問題。此外，海水中大量的懸浮顆粒對光線傳播產(chǎn)生影響，導(dǎo)致拍攝的圖像對比度較低，難以提取到高價(jià)值特征。

目前，在水下圖像顏色矯正和特征增強(qiáng)方面，前人的研究專注于對已完成拍攝的水下圖像的特征提取及處理。基于物理的方法是利用光線在水中傳播的物理模型，通過在水中應(yīng)用成像散射模型，估計(jì)海水對不同波長光線的吸收量以及水中懸浮粒子的散射作用。然而，物理方法需基于嚴(yán)格的數(shù)學(xué)計(jì)算，對各項(xiàng)數(shù)據(jù)的精度要求較高，并且散射系數(shù)估計(jì)與圖像對應(yīng)水域的水質(zhì)等密切相關(guān)，導(dǎo)致在深度、水質(zhì)等差異大的圖像數(shù)據(jù)集中難以應(yīng)用。

另一種去水思路是使用端到端的深度去水網(wǎng)絡(luò)，通常采用卷積神經(jīng)網(wǎng)絡(luò)提取特征，利用深度網(wǎng)絡(luò)訓(xùn)練卷積核對水下圖像進(jìn)行處理。而現(xiàn)有方法未考慮被攝物體距相機(jī)距離對成像結(jié)果的影響，即在距離相機(jī)較遠(yuǎn)處的被攝物體受海水影響造成的偏色和模糊效果更強(qiáng)。現(xiàn)有方法在訓(xùn)練時(shí)仍然將一張圖像視為整體，未考慮同一圖像不同區(qū)域內(nèi)受海水影響效果的輕重，導(dǎo)致圖像去水效果有限。

然而，無論是基于物理的方法還是基于深度網(wǎng)絡(luò)的方法，它們都以攝像頭拍攝完成的圖片作為輸入，并沒有考慮到拍攝時(shí)相機(jī)的參數(shù)對拍攝得到的圖像及其后處理的影響。目前的照片都是以“人眼”的視覺感受來進(jìn)行自動(dòng)曝光與拍攝，但對于深度神經(jīng)網(wǎng)絡(luò)來說，“人眼”視覺感受好的并不代表其易于讓網(wǎng)絡(luò)提取特征。

因此，如何在拍攝過程中調(diào)整參數(shù)并獲得深度網(wǎng)絡(luò)易于提取特征的圖像是一個(gè)值得研究的問題。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提出一種自適應(yīng)曝光驅(qū)動(dòng)相機(jī)攝影水下圖像處理系統(tǒng)，可以解決上述技術(shù)問題，在拍攝階段，創(chuàng)新性地利用自適應(yīng)曝光模塊的強(qiáng)化學(xué)習(xí)智能體動(dòng)態(tài)調(diào)節(jié)可編程相機(jī)各項(xiàng)拍攝參數(shù)，保證拍攝到的原圖像利于深度網(wǎng)絡(luò)提取并利用特征；在處理階段，采用基于雙層優(yōu)化框架下的特征融合注意力網(wǎng)絡(luò)，根據(jù)圖像中海水影響程度輕重為每一個(gè)圖像區(qū)塊賦予相應(yīng)權(quán)重，從而更高效的訓(xùn)練網(wǎng)絡(luò)并取得更優(yōu)質(zhì)的效果。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

本發(fā)明實(shí)施例提供一種自適應(yīng)曝光驅(qū)動(dòng)相機(jī)攝影水下圖像處理系統(tǒng)，包括：可編程相機(jī)和計(jì)算處理設(shè)備；

所述計(jì)算處理設(shè)備包括：自適應(yīng)曝光模塊和預(yù)訓(xùn)練水下圖像復(fù)原模塊；

其中，所述可編程相機(jī)，用于獲得水下場景的目標(biāo)圖像，并傳輸給自適應(yīng)曝光模塊和預(yù)訓(xùn)練水下圖像復(fù)原模塊；還用于接收調(diào)參指令，更新拍攝參數(shù)；

所述自適應(yīng)曝光模塊對所述目標(biāo)圖像的拍攝質(zhì)量進(jìn)行動(dòng)態(tài)感知，產(chǎn)生實(shí)時(shí)調(diào)整所述可編程相機(jī)設(shè)備的拍攝參數(shù)的指令，并傳輸給所述可編程相機(jī)；

所述預(yù)訓(xùn)練水下圖像復(fù)原模塊，在訓(xùn)練階段對所述目標(biāo)圖像進(jìn)行評價(jià)，給予獎(jiǎng)勵(lì)到所述自適應(yīng)曝光模塊；在應(yīng)用階段，對需要處理的目標(biāo)圖像進(jìn)行優(yōu)化，輸出經(jīng)過顏色矯正與特征增強(qiáng)的水下圖像。

進(jìn)一步地，所述可編程相機(jī)包括：拍攝模塊與通信模塊；