[發明專利]一種天空區域分割方法、裝置和卷積神經網絡

在審

• 申請號: 201810844647.0
• 申請日: 2018-07-27
• 公開（公告）號: CN109035260A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 陳冠男
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明提供了一種天空區域分割方法、裝置和卷積神經網絡，涉及圖像處理技術領域。該方法包括：圖像輸入層獲取原始圖像；第一卷積神經網絡從原始圖像中提取不同尺度的多個天空特征圖像；級聯的多個第二卷積神經網絡對多個天空特征圖像進行處理，輸出目標特征圖像；上采樣層對目標特征圖像進行上采樣，獲得上采樣特征圖像；天空區域確定層將上采樣特征圖像中灰度值大于等于預設灰度值的像素區域確定為天空區域。在本發明中，通過級聯的多個第二卷積神經網絡，能夠從不同尺度的圖像中，多層次提取天空語義特征，從而輸出的目標特征圖像中可包括各個尺度的天空特征，尤其有利于準確確定濃霧暗夜場景下的天空邊界，從而對天空區域進行準確分割。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種天空區域分割方法、裝置和卷積神經網絡。

背景技術

圖像分割技術是圖像處理領域中一個非常重要的研究方向，其中，天空區域分割方法，是圖像分割中的一個特定應用場景，其目的是準確識別天空區域，并將其與其他目標進行區分。目前，天空分割方法在無人機視覺，氣象監測，娛樂軟件等方面均有應用。

目前的天空區域分割方法主要是基于梯度統計技術進行天空區域的分割。例如梯度閾值結合亮度閾值的天空區域分割方法，可以分割白天場景下的天空區域，再例如梯度統計結合能量函數優化的天空區域分割方法，可以分割有云彩的場景下的天空區域，而上述天空區域分割方法在濃霧和暗夜等天空邊界不清晰的場景下，分割天空區域的準確率較低，因而上述天空區域分割方法不適用于濃霧和暗夜場景下的天空區域分割。

發明內容

本發明提供一種天空區域分割方法、裝置和卷積神經網絡，以解決現有的天空區域分割方法對于濃霧和暗夜等天空特征不明顯的場景無法適用的問題。

為了解決上述問題，本發明公開了一種基于卷積神經網絡的天空區域分割方法，所述卷積神經網絡包括圖像輸入層、第一卷積神經網絡、級聯的多個第二卷積神經網絡、上采樣層和天空區域確定層，所述方法包括：

所述圖像輸入層獲取原始圖像；

所述第一卷積神經網絡從所述原始圖像中提取不同尺度的多個天空特征圖像；每個所述天空特征圖像的尺度均小于所述原始圖像的尺度；

所述級聯的多個第二卷積神經網絡對所述多個天空特征圖像進行處理，輸出目標特征圖像；所述目標特征圖像的尺度與所述多個天空特征圖像中的最大尺度相同；

所述上采樣層對所述目標特征圖像進行上采樣，獲得與所述原始圖像尺度相同的上采樣特征圖像；

所述天空區域確定層將所述上采樣特征圖像中灰度值大于或等于預設灰度值的像素區域確定為天空區域。

可選地，所述多個天空特征圖像包括第一天空特征圖像、第二天空特征圖像、第三天空特征圖像和第四天空特征圖像，所述第一天空特征圖像的尺度為所述第二天空特征圖像尺度的1/2，所述第二天空特征圖像的尺度為所述第三天空特征圖像尺度的1/2，所述第三天空特征圖像的尺度為所述第四天空特征圖像尺度的1/2；所述級聯的多個第二卷積神經網絡包含三級第二卷積神經網絡；

所述級聯的多個第二卷積神經網絡對所述多個天空特征圖像進行處理，輸出目標特征圖像，包括：

所述第一級第二卷積神經網絡對所述第一天空特征圖像和所述第二天空特征圖像進行特征處理，獲得與所述第二天空特征圖像尺度相同的第一中間目標特征圖像；

所述第二級第二卷積神經網絡對所述第一中間目標特征圖像和所述第三天空特征圖像進行特征處理，獲得與所述第三天空特征圖像尺度相同的第二中間目標特征圖像；

所述第三級第二卷積神經網絡對所述第二中間目標特征圖像和所述第四天空特征圖像進行特征處理，獲得與所述第四天空特征圖像尺度相同的目標特征圖像。