[發(fā)明專利]基于深度學(xué)習(xí)的圖像質(zhì)量提升方法及其裝置

有效

• 申請?zhí)枺?/td>: 201710186768.6
• 申請日: 2017-03-27
• 公開（公告）號: CN108665415B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 吳子章;唐銳;王凡
• 申請（專利權(quán)）人: 深圳縱目安馳科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/04;G06T3/40;G06T5/50
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 徐秋平

1.一種基于深度學(xué)習(xí)的圖像質(zhì)量提升方法，其特征在于，包括：

獲取某一場景的畸變圖像，以作為深度學(xué)習(xí)模型的訓(xùn)練值；

獲取所述場景的全景圖像，以作為所述深度學(xué)習(xí)模型的真值；

利用建立的第一卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)并生成所述訓(xùn)練值與所述真值之間的映射關(guān)系；其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)模型包括：多層的卷積網(wǎng)絡(luò)，用于對輸入圖像進(jìn)行多個尺度多個維度的信息壓縮與融合；與所述卷積網(wǎng)絡(luò)相對應(yīng)的反卷積網(wǎng)絡(luò)，用于實現(xiàn)相關(guān)細(xì)節(jié)信息的還原；

所述利用建立的第一卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)并生成所述訓(xùn)練值與所述真值之間的映射關(guān)系還包括：利用建立的第二卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)并調(diào)節(jié)在生成所述映射關(guān)系的過程中所生成的中間圖像，從而優(yōu)化所述映射關(guān)系；

所述第二卷積神經(jīng)網(wǎng)絡(luò)模型包括：通過利用多層的卷積網(wǎng)絡(luò)來學(xué)習(xí)多個場景信息從而具備場景分類能力的網(wǎng)絡(luò)模型，用于輔助所述第一卷積神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行有針對性地細(xì)節(jié)信息還原；

訓(xùn)練步驟：選擇其他場景的畸變圖像作為所述映射關(guān)系的輸入，從而獲得輸出的所述其他場景的全景圖像，并與所述其他場景的預(yù)設(shè)全景圖像進(jìn)行比對；

所述訓(xùn)練步驟還包括：選擇其他場景的畸變圖像作為優(yōu)化后的所述映射關(guān)系的輸入，從而獲得輸出的所述其他場景的全景圖像，并與所述其他場景的預(yù)設(shè)全景圖像進(jìn)行比對；其中，所述畸變圖像由多張子畸變圖像組合構(gòu)成，且所述畸變圖像包括：魚眼圖像；

重復(fù)執(zhí)行所述訓(xùn)練步驟直至比對生成的差異值小于或等于預(yù)設(shè)閾值，并將此時經(jīng)過訓(xùn)練得到的映射關(guān)系確定為最終的用于提升圖像成像質(zhì)量的模型。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像質(zhì)量提升方法，其特征在于，獲得的所述場景的全景圖像是高清攝像頭對所述場景進(jìn)行拍攝后合成的像素分布均勻的圖像。

3.一種基于深度學(xué)習(xí)的圖像質(zhì)量提升裝置，其特征在于，包括：

輸入模塊，用于獲取某一場景的畸變圖像，以作為深度學(xué)習(xí)模型的訓(xùn)練值；以及獲取所述場景的全景圖像，以作為所述深度學(xué)習(xí)模型的真值；

學(xué)習(xí)模塊，用于利用建立的第一卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)并生成所述訓(xùn)練值與所述真值之間的映射關(guān)系；其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)模型包括：多層的卷積網(wǎng)絡(luò)，用于對輸入圖像進(jìn)行多個尺度多個維度的信息壓縮與融合；與所述卷積網(wǎng)絡(luò)相對應(yīng)的反卷積網(wǎng)絡(luò)，用于實現(xiàn)相關(guān)細(xì)節(jié)信息的還原；

所述利用建立的第一卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)并生成所述訓(xùn)練值與所述真值之間的映射關(guān)系，還包括：利用建立的第二卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)并調(diào)節(jié)在生成所述映射關(guān)系的過程中所生成的中間圖像，從而優(yōu)化所述映射關(guān)系；

所述第二卷積神經(jīng)網(wǎng)絡(luò)模型包括：通過利用多層的卷積網(wǎng)絡(luò)來學(xué)習(xí)多個場景信息從而具備場景分類能力的網(wǎng)絡(luò)模型，用于輔助所述第一卷積神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行有針對性地細(xì)節(jié)信息還原；

訓(xùn)練模塊，用于重復(fù)執(zhí)行：選擇其他場景的畸變圖像作為所述映射關(guān)系的輸入，從而獲得輸出的所述其他場景的全景圖像，并與所述其他場景的預(yù)設(shè)全景圖像進(jìn)行比對；選擇其他場景的畸變圖像作為優(yōu)化后的所述映射關(guān)系的輸入，從而獲得輸出的所述其他場景的全景圖像，并與所述其他場景的預(yù)設(shè)全景圖像進(jìn)行比對，直至比對生成的差異值小于或等于預(yù)設(shè)閾值；并將此時經(jīng)過訓(xùn)練得到的映射關(guān)系確定為最終的用于提升圖像成像質(zhì)量的模型，其中，所述畸變圖像由多張子畸變圖像組合構(gòu)成，且所述畸變圖像包括：魚眼圖像。

4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的圖像質(zhì)量提升裝置，其特征在于，獲得的所述場景的全景圖像是高清攝像頭對所述場景進(jìn)行拍攝后合成的像素分布均勻的圖像。