[發明專利]基于深度學習的圖像質量提升方法及其裝置

有效

• 申請號: 201710186768.6
• 申請日: 2017-03-27
• 公開（公告）號: CN108665415B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 吳子章;唐銳;王凡
• 申請（專利權）人: 深圳縱目安馳科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/04;G06T3/40;G06T5/50
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

本發明提供基于深度學習的圖像質量提升方法及其裝置。所述方法包括：獲取某一場景的畸變圖像作為深度學習模型的訓練值；獲取所述場景的全景圖像作為所述深度學習模型的真值；利用建立的第一卷積神經網絡模型，學習并生成所述訓練值與所述真值之間的映射關系；選擇其他場景的畸變圖像作為所述映射關系的輸入，從而獲得輸出的所述其他場景的全景圖像，并與所述其他場景的預設全景圖像進行比對；重復執行訓練步驟直至比對生成的差異值小于或等于預設閾值，并將此時經過訓練得到的映射關系確定為最終的用于提升全景圖像成像質量的模型。本發明解決了在拼接生成全景圖像的過程中像素不均衡的問題，并大大提高了圖像成像質量。

技術領域

本發明涉及圖像處理領域，特別是涉及基于深度學習的圖像質量提升方法及其裝置。

背景技術

全景圖(Panoramic image)技術的實現過程通常是：首先，利用攝像設備在不同角度或位置對場景進行拍攝，獲得反映整個三維場景信息的多張圖像；然后，將這些圖像根據一定的原則拼接成一張大圖，在這張大圖上表現整個場景的全部信息，從而實現了將整個場景信息集中到一張圖上表示。

目前的全景圖像，一般都采用多個魚眼攝像頭拍攝的圖像或其他類型攝像頭拍攝的圖像拼接完成，其邊緣成像質量受原始魚眼圖像或其他類型圖像的投影映射效果影響。當攝像機模型在圖像平面上的成像不均勻時，拼接后的全景圖像在邊緣部分對應原始圖像的像素相對而言會比較稀疏，從而出現模糊不清的問題。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供基于深度學習的圖像質量提升方法及其裝置，用于解決現有技術中由至少一個圖像拼接而成的全景圖像的成像質量不佳、像素不均衡等問題。

為實現上述目的及其他相關目的，本發明提供一種基于深度學習的圖像質量提升方法，包括：獲取某一場景的畸變圖像，以作為深度學習模型的訓練值；獲取所述場景的全景圖像，以作為所述深度學習模型的真值；利用建立的第一卷積神經網絡模型，學習并生成所述訓練值與所述真值之間的映射關系；訓練步驟：選擇其他場景的畸變圖像作為所述映射關系的輸入，從而獲得輸出的所述其他場景的全景圖像，并與所述其他場景的預設全景圖像進行比對；重復執行所述訓練步驟直至比對生成的差異值小于或等于預設閾值，并將此時經過訓練得到的映射關系確定為最終的用于提升全景圖像成像質量的模型。

于本發明一實施例中，所述第一卷積神經網絡模型包括：多層的卷積網絡，用于對輸入圖像進行多個尺度多個維度的信息壓縮與融合；與所述卷積網絡相對應的反卷積網絡，用于實現相關細節信息的還原。

于本發明一實施例中，所述利用建立的第一卷積神經網絡模型，學習并生成所述訓練值與所述真值之間的映射關系，還包括：利用建立的第二卷積神經網絡模型，學習并調節在生成所述映射關系的過程中所生成的中間圖像，從而優化所述映射關系；所述訓練步驟，還包括：選擇其他場景的畸變圖像作為優化后的所述映射關系的輸入，從而獲得輸出的所述其他場景的全景圖像，并與所述其他場景的預設全景圖像進行比對。

于本發明一實施例中，所述第二卷積神經網絡模型包括：通過利用多層的卷積網絡來學習多個場景信息從而具備場景分類能力的網絡模型，用于輔助所述第一卷積神經網絡模型來進行有針對性地細節信息還原。

于本發明一實施例中，所述畸變圖像由多張子畸變圖像組合構成。

于本發明一實施例中，所述畸變圖像包括：魚眼圖像。

于本發明一實施例中，獲得的所述場景的全景圖像是高清攝像頭對所述場景進行拍攝后合成的像素分布均勻的圖像。