[發(fā)明專利]一種天空區(qū)域分割方法、裝置和卷積神經(jīng)網(wǎng)絡(luò)

在審

• 申請?zhí)枺?/td>: 201810844647.0
• 申請日: 2018-07-27
• 公開（公告）號: CN109035260A
• 公開（公告）日: 2018-12-18
• 發(fā)明（設(shè)計(jì)）人: 陳冠男
• 申請（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的天空區(qū)域分割方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)包括圖像輸入層、第一卷積神經(jīng)網(wǎng)絡(luò)、級聯(lián)的多個(gè)第二卷積神經(jīng)網(wǎng)絡(luò)、上采樣層和天空區(qū)域確定層，所述方法包括：

所述圖像輸入層獲取原始圖像；

所述第一卷積神經(jīng)網(wǎng)絡(luò)從所述原始圖像中提取不同尺度的多個(gè)天空特征圖像；每個(gè)所述天空特征圖像的尺度均小于所述原始圖像的尺度；

所述級聯(lián)的多個(gè)第二卷積神經(jīng)網(wǎng)絡(luò)對所述多個(gè)天空特征圖像進(jìn)行處理，輸出目標(biāo)特征圖像；所述目標(biāo)特征圖像的尺度與所述多個(gè)天空特征圖像中的最大尺度相同；

所述上采樣層對所述目標(biāo)特征圖像進(jìn)行上采樣，獲得與所述原始圖像尺度相同的上采樣特征圖像；

所述天空區(qū)域確定層將所述上采樣特征圖像中灰度值大于或等于預(yù)設(shè)灰度值的像素區(qū)域確定為天空區(qū)域。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)天空特征圖像包括第一天空特征圖像、第二天空特征圖像、第三天空特征圖像和第四天空特征圖像，所述第一天空特征圖像的尺度為所述第二天空特征圖像尺度的1/2，所述第二天空特征圖像的尺度為所述第三天空特征圖像尺度的1/2，所述第三天空特征圖像的尺度為所述第四天空特征圖像尺度的1/2；所述級聯(lián)的多個(gè)第二卷積神經(jīng)網(wǎng)絡(luò)包含三級第二卷積神經(jīng)網(wǎng)絡(luò)；

所述級聯(lián)的多個(gè)第二卷積神經(jīng)網(wǎng)絡(luò)對所述多個(gè)天空特征圖像進(jìn)行處理，輸出目標(biāo)特征圖像，包括：

第一級第二卷積神經(jīng)網(wǎng)絡(luò)對所述第一天空特征圖像和所述第二天空特征圖像進(jìn)行特征處理，獲得與所述第二天空特征圖像尺度相同的第一中間目標(biāo)特征圖像；

第二級第二卷積神經(jīng)網(wǎng)絡(luò)對所述第一中間目標(biāo)特征圖像和所述第三天空特征圖像進(jìn)行特征處理，獲得與所述第三天空特征圖像尺度相同的第二中間目標(biāo)特征圖像；

第三級第二卷積神經(jīng)網(wǎng)絡(luò)對所述第二中間目標(biāo)特征圖像和所述第四天空特征圖像進(jìn)行特征處理，獲得與所述第四天空特征圖像尺度相同的目標(biāo)特征圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一卷積神經(jīng)網(wǎng)絡(luò)為VGG-19卷積神經(jīng)網(wǎng)絡(luò)；所述第四天空特征圖像為所述第一卷積神經(jīng)網(wǎng)絡(luò)中第4卷積層的輸出圖像，所述第三天空特征圖像為所述第一卷積神經(jīng)網(wǎng)絡(luò)中第8卷積層的輸出圖像，所述第二天空特征圖像為所述第一卷積神經(jīng)網(wǎng)絡(luò)中第12卷積層的輸出圖像，所述第一天空特征圖像為所述第一卷積神經(jīng)網(wǎng)絡(luò)中第16卷積層的輸出圖像。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第四天空特征圖像的尺度為所述原始圖像尺度的1/2，所述第三天空特征圖像的尺度為所述原始圖像尺度的1/4，所述第二天空特征圖像的尺度為所述原始圖像尺度的1/8，所述第一天空特征圖像的尺度為所述原始圖像尺度的1/16。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，每級所述第二卷積神經(jīng)網(wǎng)絡(luò)均包括：

殘差卷積單元，用于對輸入的特征圖像進(jìn)行全局特征提取；

多尺度融合單元，用于對所述殘差卷積單元輸出的特征圖像進(jìn)行特征融合；

鏈?zhǔn)綒埐畛鼗瘑卧糜趯λ龆喑叨热诤蠁卧敵龅奶卣鲌D像進(jìn)行低頻特征提取；

卷積輸出單元，用于對所述鏈?zhǔn)綒埐畛鼗瘑卧敵龅奶卣鲌D像進(jìn)行卷積，得到中間目標(biāo)特征圖像或目標(biāo)特征圖像。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述殘差卷積單元包括：

第一激活函數(shù)子單元，用于對輸入的特征圖像進(jìn)行非線性處理；

第一卷積子單元，用于對所述第一激活函數(shù)子單元輸出的特征圖像進(jìn)行卷積；

第一批量歸一化子單元，用于對所述第一卷積子單元輸出的特征圖像進(jìn)行正則化處理；

第二激活函數(shù)子單元，用于對所述第一批量歸一化子單元輸出的特征圖像進(jìn)行非線性處理；

第二卷積子單元，用于對所述第二激活函數(shù)子單元輸出的特征圖像進(jìn)行卷積；

第二批量歸一化子單元，用于對所述第二卷積子單元輸出的特征圖像進(jìn)行正則化處理；

第一疊加子單元，用于對輸入所述第一激活函數(shù)子單元的特征圖像和所述第二批量歸一化子單元輸出的特征圖像進(jìn)行特征疊加。