[發明專利]一種天空區域分割方法、裝置和卷積神經網絡

在審

• 申請號: 201810844647.0
• 申請日: 2018-07-27
• 公開（公告）號: CN109035260A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 陳冠男
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種基于卷積神經網絡的天空區域分割方法，其特征在于，所述卷積神經網絡包括圖像輸入層、第一卷積神經網絡、級聯的多個第二卷積神經網絡、上采樣層和天空區域確定層，所述方法包括：

所述圖像輸入層獲取原始圖像；

所述第一卷積神經網絡從所述原始圖像中提取不同尺度的多個天空特征圖像；每個所述天空特征圖像的尺度均小于所述原始圖像的尺度；

所述級聯的多個第二卷積神經網絡對所述多個天空特征圖像進行處理，輸出目標特征圖像；所述目標特征圖像的尺度與所述多個天空特征圖像中的最大尺度相同；

所述上采樣層對所述目標特征圖像進行上采樣，獲得與所述原始圖像尺度相同的上采樣特征圖像；

所述天空區域確定層將所述上采樣特征圖像中灰度值大于或等于預設灰度值的像素區域確定為天空區域。

2.根據權利要求1所述的方法，其特征在于，所述多個天空特征圖像包括第一天空特征圖像、第二天空特征圖像、第三天空特征圖像和第四天空特征圖像，所述第一天空特征圖像的尺度為所述第二天空特征圖像尺度的1/2，所述第二天空特征圖像的尺度為所述第三天空特征圖像尺度的1/2，所述第三天空特征圖像的尺度為所述第四天空特征圖像尺度的1/2；所述級聯的多個第二卷積神經網絡包含三級第二卷積神經網絡；

所述級聯的多個第二卷積神經網絡對所述多個天空特征圖像進行處理，輸出目標特征圖像，包括：

第一級第二卷積神經網絡對所述第一天空特征圖像和所述第二天空特征圖像進行特征處理，獲得與所述第二天空特征圖像尺度相同的第一中間目標特征圖像；

第二級第二卷積神經網絡對所述第一中間目標特征圖像和所述第三天空特征圖像進行特征處理，獲得與所述第三天空特征圖像尺度相同的第二中間目標特征圖像；

第三級第二卷積神經網絡對所述第二中間目標特征圖像和所述第四天空特征圖像進行特征處理，獲得與所述第四天空特征圖像尺度相同的目標特征圖像。

3.根據權利要求2所述的方法，其特征在于，所述第一卷積神經網絡為VGG-19卷積神經網絡；所述第四天空特征圖像為所述第一卷積神經網絡中第4卷積層的輸出圖像，所述第三天空特征圖像為所述第一卷積神經網絡中第8卷積層的輸出圖像，所述第二天空特征圖像為所述第一卷積神經網絡中第12卷積層的輸出圖像，所述第一天空特征圖像為所述第一卷積神經網絡中第16卷積層的輸出圖像。

4.根據權利要求2所述的方法，其特征在于，所述第四天空特征圖像的尺度為所述原始圖像尺度的1/2，所述第三天空特征圖像的尺度為所述原始圖像尺度的1/4，所述第二天空特征圖像的尺度為所述原始圖像尺度的1/8，所述第一天空特征圖像的尺度為所述原始圖像尺度的1/16。

5.根據權利要求1所述的方法，其特征在于，每級所述第二卷積神經網絡均包括：

殘差卷積單元，用于對輸入的特征圖像進行全局特征提取；

多尺度融合單元，用于對所述殘差卷積單元輸出的特征圖像進行特征融合；

鏈式殘差池化單元，用于對所述多尺度融合單元輸出的特征圖像進行低頻特征提取；

卷積輸出單元，用于對所述鏈式殘差池化單元輸出的特征圖像進行卷積，得到中間目標特征圖像或目標特征圖像。

6.根據權利要求5所述的方法，其特征在于，所述殘差卷積單元包括：

第一激活函數子單元，用于對輸入的特征圖像進行非線性處理；

第一卷積子單元，用于對所述第一激活函數子單元輸出的特征圖像進行卷積；

第一批量歸一化子單元，用于對所述第一卷積子單元輸出的特征圖像進行正則化處理；

第二激活函數子單元，用于對所述第一批量歸一化子單元輸出的特征圖像進行非線性處理；

第二卷積子單元，用于對所述第二激活函數子單元輸出的特征圖像進行卷積；

第二批量歸一化子單元，用于對所述第二卷積子單元輸出的特征圖像進行正則化處理；

第一疊加子單元，用于對輸入所述第一激活函數子單元的特征圖像和所述第二批量歸一化子單元輸出的特征圖像進行特征疊加。