[發(fā)明專利]一種圖像處理方法及其系統(tǒng)、存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010884492.0
• 申請日: 2020-08-28
• 公開（公告）號: CN112084908A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計）人: 周鵬;范明;張三林;杭宸;郭繼舜;張志德
• 申請（專利權(quán)）人: 廣州汽車集團(tuán)股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳匯智容達(dá)專利商標(biāo)事務(wù)所(普通合伙) 44238
• 代理人: 徐文城

本發(fā)明涉及一種圖像處理方法及其系統(tǒng)、存儲介質(zhì)，所述方法包括：獲取當(dāng)前時刻車輛前方環(huán)境的低分辨率圖像序列；并且，獲取上一時刻神經(jīng)網(wǎng)絡(luò)模型輸出的第一高分辨率圖像序列，對所述第一高分辨率圖像序列進(jìn)行采樣和線性處理得到第二高分辨率圖像序列；將所述低分辨率圖像序列、所述第二高分辨率圖像序列輸入所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像融合輸出當(dāng)前時刻的第一高分辨率圖像序列。實施本發(fā)明，能夠?qū)崿F(xiàn)對車輛攝像裝置所采集的圖像進(jìn)行超分辨率增強，以便于高速駕駛過程中更好地根據(jù)圖像進(jìn)行遠(yuǎn)距離小障礙物的檢測。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種圖像處理方法及其系統(tǒng)、存儲介質(zhì)。

背景技術(shù)

目前自動駕駛技術(shù)是行業(yè)研究的熱點，國內(nèi)外正在重點研究自動駕駛相關(guān)算法以及工程應(yīng)用可行性和安全性，在自動駕駛的應(yīng)用場景中，不可避免地會出現(xiàn)遠(yuǎn)距離小障礙物，自動駕駛過程中駕駛決策的安全性受到在高速駕駛下小障礙物的檢測準(zhǔn)確率以及實時性的影響，而提高檢測準(zhǔn)確率以及滿足實時性要求的一個重要因素在于圖像的采集處理，需要對原始圖像進(jìn)行分辨率增強，以便于更好地進(jìn)行遠(yuǎn)距離小障礙物的檢測。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種圖像處理方法及其系統(tǒng)、存儲介質(zhì)，以實現(xiàn)對車輛攝像裝置所采集的圖像進(jìn)行超分辨率增強，以便于高速駕駛過程中更好地根據(jù)圖像進(jìn)行遠(yuǎn)距離小障礙物的檢測。

為實現(xiàn)上述目的，根據(jù)第一方面，本發(fā)明實施例提出一種圖像處理方法，包括：

獲取當(dāng)前時刻車輛前方環(huán)境的低分辨率圖像序列；并且，獲取上一時刻神經(jīng)網(wǎng)絡(luò)模型輸出的第一高分辨率圖像序列，對所述第一高分辨率圖像序列進(jìn)行采樣和線性處理得到第二高分辨率圖像序列；

將所述低分辨率圖像序列、所述第二高分辨率圖像序列輸入所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像融合輸出當(dāng)前時刻的第一高分辨率圖像序列。

優(yōu)選地，所述對所述第一高分辨率圖像序列進(jìn)行采樣和線性處理得到第二高分辨率圖像序列，包括：

對所述第一高分辨率圖像序列進(jìn)行最大池化下進(jìn)行采樣，得到與所述低分辨率圖像序列相同尺寸的圖像序列，并對采樣得到的該圖像序列進(jìn)行線性處理得到第二高分辨率圖像序列；其中，所述線性處理過程如下公式所示：

其中，α為超參數(shù)，α通過所述神經(jīng)網(wǎng)絡(luò)模型預(yù)先訓(xùn)練得到；為第二高分辨率圖像序列中的一個圖像；為采樣得到的該圖像序列中的一個圖像。

優(yōu)選地，所述低分辨率圖像序列、第一高分辨率圖像序列、第二高分辨率圖像序列均包括連續(xù)3幀圖像。

優(yōu)選地，所述超參數(shù)α具體通過以下方式進(jìn)行預(yù)先訓(xùn)練得到：

獲取訓(xùn)練用的低分辨率圖像序列樣本和高分辨率圖像序列樣本，并根據(jù)所述低分辨率圖像序列樣本和高分辨率圖像序列樣本對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；其中所述低分辨率圖像序列樣本與所述高分辨率圖像序列樣本的采集時刻相對應(yīng)；

其中，訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)如下：

L＝μ*L1(k,k)+γ*L1(k,k-1)+ρ*L1(k,k+1)

其中，L1(k,k)表示k時刻神經(jīng)網(wǎng)絡(luò)模型的輸出圖像與k時刻的高分辨率圖像序列樣本中對應(yīng)圖像的差距；L1(k,k-1)為k時刻神經(jīng)網(wǎng)絡(luò)模型的輸出圖像和k-1時刻的高分辨率圖像序列樣本中對應(yīng)圖像的差距；L1(k,k+1)為k時刻神經(jīng)網(wǎng)絡(luò)模型的輸出圖像和k+1時刻的高分辨率圖像序列樣本中對應(yīng)圖像的差距；μ、γ、ρ為權(quán)重參數(shù)；

進(jìn)行迭代計算，確定上述損失函數(shù)收斂時所對應(yīng)的損失值并根據(jù)所述損失值確定所述超參數(shù)α。

優(yōu)選地，所述根據(jù)所述損失值確定所述超參數(shù)α，包括：