[發(fā)明專利]目標(biāo)檢測輔助的場景識(shí)別方法

有效

• 申請?zhí)枺?/td>: 201710270013.4
• 申請日: 2017-04-24
• 公開（公告）號: CN107194318B
• 公開（公告）日: 2020-06-12
• 發(fā)明（設(shè)計(jì)）人: 王蘊(yùn)紅;孫宇航;趙文婷;陳訓(xùn)遜;劉慶杰;王博
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;劉芳

1.一種目標(biāo)檢測輔助的場景識(shí)別方法，其特征在于，包括：

獲取待識(shí)別圖片，對所述待識(shí)別圖片進(jìn)行采樣，得到預(yù)設(shè)數(shù)量和預(yù)設(shè)大小的樣本，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)模型對各所述樣本進(jìn)行場景識(shí)別，得到所述待識(shí)別圖片對應(yīng)的至少兩個(gè)場景；

獲取所述待識(shí)別圖片的區(qū)域建議和所述待識(shí)別圖片對應(yīng)的第一特征圖，根據(jù)所述區(qū)域建議和所述待識(shí)別圖片，獲取所述待識(shí)別圖片中的各目標(biāo)的分類得分；其中，所述區(qū)域建議用于指示包含至少一個(gè)目標(biāo)的至少部分的區(qū)域，所述區(qū)域建議為區(qū)域建議網(wǎng)絡(luò)對第二特征圖進(jìn)行處理得到的，所述第一特征圖和所述第二特征圖為Fast R-CNN網(wǎng)絡(luò)中對所述待識(shí)別圖片進(jìn)行卷積處理得到的；

根據(jù)所述待識(shí)別圖片對應(yīng)的至少兩個(gè)場景和各所述目標(biāo)的分類得分，得到所述待識(shí)別圖片對應(yīng)的場景；

所述獲取所述待識(shí)別圖片的區(qū)域建議和所述待識(shí)別圖片對應(yīng)的第一特征圖，包括：

通過所述Fast R-CNN網(wǎng)絡(luò)對所述待識(shí)別圖片進(jìn)行卷積處理，得到共享卷積層；

從所述共享卷積層提取所述第二特征圖，根據(jù)所述區(qū)域建議網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)，通過所述區(qū)域建議網(wǎng)絡(luò)對所述第二特征圖進(jìn)行區(qū)域建議處理，得到各目標(biāo)區(qū)域的區(qū)域得分，根據(jù)所述區(qū)域得分，得到所述區(qū)域建議；

將所述共享卷積層疊加預(yù)設(shè)層數(shù)的卷積層作為特有卷積層，得到所述第一特征圖，所述特有卷積層包含的卷積層的個(gè)數(shù)大于所述共享卷積層包含的卷積層的個(gè)數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)卷積網(wǎng)絡(luò)模型對各所述樣本進(jìn)行場景識(shí)別，得到所述待識(shí)別圖片對應(yīng)的至少兩個(gè)場景之前，還包括：

獲取訓(xùn)練圖片以及所述訓(xùn)練圖片對應(yīng)的標(biāo)簽，所述標(biāo)簽用于指示所述訓(xùn)練圖片對應(yīng)的場景；

根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)模型和所述訓(xùn)練圖片對應(yīng)的標(biāo)簽，獲取各所述場景對應(yīng)的所述卷積神經(jīng)網(wǎng)絡(luò)模型對應(yīng)的網(wǎng)絡(luò)參數(shù)；

所述根據(jù)卷積網(wǎng)絡(luò)模型對各所述樣本進(jìn)行場景識(shí)別，得到所述待識(shí)別圖片對應(yīng)的至少兩個(gè)場景，包括：

根據(jù)各所述場景對應(yīng)的所述卷積神經(jīng)網(wǎng)絡(luò)模型對應(yīng)的網(wǎng)絡(luò)參數(shù)，對各所述樣本進(jìn)行場景識(shí)別，得到所述待識(shí)別圖片對應(yīng)的至少兩個(gè)場景。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)模型和所述訓(xùn)練圖片對應(yīng)的標(biāo)簽，獲取各所述場景對應(yīng)的所述卷積神經(jīng)網(wǎng)絡(luò)模型對應(yīng)的網(wǎng)絡(luò)參數(shù)，包括：

對所述訓(xùn)練圖片進(jìn)行分割采樣，得到擴(kuò)增后的訓(xùn)練圖片；

根據(jù)第一預(yù)設(shè)訓(xùn)練參數(shù)，對所述擴(kuò)增后的訓(xùn)練圖片進(jìn)行預(yù)設(shè)處理，得到預(yù)設(shè)數(shù)量的第三特征圖，所述預(yù)設(shè)處理包括卷積、池化、歸一化處理；

對所述預(yù)設(shè)數(shù)量的第三特征圖進(jìn)行多次全連接處理，得到所述訓(xùn)練圖片對應(yīng)的場景概率；

根據(jù)所述場景概率和所述訓(xùn)練圖片對應(yīng)的標(biāo)簽，對所述第一預(yù)設(shè)訓(xùn)練參數(shù)進(jìn)行調(diào)整，得到所述場景對應(yīng)的所述卷積神經(jīng)網(wǎng)絡(luò)模型對應(yīng)的網(wǎng)絡(luò)參數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述區(qū)域建議和所述待識(shí)別圖片，獲取所述待識(shí)別圖片中的各目標(biāo)的分類得分，包括：

根據(jù)所述區(qū)域建議，對所述第一特征圖進(jìn)行區(qū)域標(biāo)記處理，得到所述區(qū)域標(biāo)記處理后的第一特征圖；

通過所述Fast R-CNN網(wǎng)絡(luò)對所述區(qū)域標(biāo)記處理后的第一特征圖進(jìn)行池化處理，得到池化處理后的第一特征圖；

對所述池化處理后的第一特征圖進(jìn)行全連接處理；

根據(jù)所述Fast R-CNN網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)，獲取所述待識(shí)別圖片中的各目標(biāo)的分類得分。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述獲取所述待識(shí)別圖片的區(qū)域建議和所述待識(shí)別圖片對應(yīng)的第一特征圖之前，還包括：

獲取訓(xùn)練圖片以及所述訓(xùn)練圖片對應(yīng)的目標(biāo)區(qū)域，所述目標(biāo)區(qū)域用于指示完整的目標(biāo)在所述訓(xùn)練圖片中的位置；

根據(jù)所述Fast R-CNN網(wǎng)絡(luò)、所述區(qū)域建議網(wǎng)絡(luò)以及所述訓(xùn)練圖片對應(yīng)的目標(biāo)區(qū)域，獲取各所述目標(biāo)的所述Fast R-CNN網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)和所述區(qū)域建議網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述Fast R-CNN網(wǎng)絡(luò)、所述區(qū)域建議網(wǎng)絡(luò)以及所述訓(xùn)練圖片對應(yīng)的目標(biāo)區(qū)域，獲取各所述目標(biāo)的所述Fast R-CNN網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)和所述區(qū)域建議網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)，包括：

通過所述Fast R-CNN網(wǎng)絡(luò)對所述訓(xùn)練圖片進(jìn)行卷積處理，得到共享卷積層；

從所述共享卷積層提取所述第二特征圖，根據(jù)第二預(yù)設(shè)訓(xùn)練參數(shù)，通過所述區(qū)域建議網(wǎng)絡(luò)對所述第二特征圖進(jìn)行區(qū)域建議處理，得到所述區(qū)域得分，根據(jù)所述區(qū)域得分，得到所述區(qū)域建議；

將所述共享卷積層疊加預(yù)設(shè)層數(shù)的卷積層作為特有卷積層，得到所述第一特征圖，所述特有卷積層包含的卷積層的個(gè)數(shù)大于所述共享卷積層包含的卷積層的個(gè)數(shù)；

根據(jù)所述區(qū)域建議，對所述第一特征圖進(jìn)行區(qū)域標(biāo)記處理，得到所述區(qū)域標(biāo)記處理后的第一特征圖；

通過所述Fast R-CNN網(wǎng)絡(luò)對所述區(qū)域標(biāo)記出后的第一特征圖進(jìn)行池化處理，得到池化處理后的第一特征圖；

對所述池化處理后的第一特征圖進(jìn)行全連接處理，根據(jù)第三預(yù)設(shè)訓(xùn)練參數(shù)，獲取所述訓(xùn)練圖片中的各目標(biāo)的分類得分；

根據(jù)所述區(qū)域建議、所述訓(xùn)練圖片中的各目標(biāo)的分類得分以及所述目標(biāo)區(qū)域，調(diào)整所述第二預(yù)設(shè)訓(xùn)練參數(shù)和所述第三預(yù)設(shè)訓(xùn)練參數(shù)，得到所述區(qū)域建議網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)和所述各所述目標(biāo)的所述Fast R-CNN網(wǎng)絡(luò)對應(yīng)的網(wǎng)絡(luò)參數(shù)。