[發(fā)明專利]網(wǎng)絡(luò)訓練方法、處理方法、裝置、存儲介質(zhì)和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201710457590.4
• 申請日: 2017-06-16
• 公開（公告）號: CN108229494B
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 郝澤錕;秦紅偉;閆俊杰
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京康達聯(lián)禾知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11461
• 代理人: 羅延紅;金丹

1.一種用于物體檢測的神經(jīng)網(wǎng)絡(luò)的訓練方法，包括：

通過待訓練的物體檢測神經(jīng)網(wǎng)絡(luò)提取樣本圖像中物體的位置檢測數(shù)據(jù)和方向檢測數(shù)據(jù)，以及提取所述樣本圖像的物體方向分布預測向量，所述樣本圖像含有物體的位置標注數(shù)據(jù)和方向標注數(shù)據(jù)，所述物體方向分布預測向量的各個元素分別指示所述樣本圖像含有處于所述元素對應(yīng)的方向的物體的預測概率；

確定所述位置標注數(shù)據(jù)和所述位置檢測數(shù)據(jù)之間的第一差異和所述方向標注數(shù)據(jù)和所述方向檢測數(shù)據(jù)之間的第二差異，并且根據(jù)所述方向標注數(shù)據(jù)和所述物體方向分布預測向量確定第三差異；

至少根據(jù)所述第一差異、第二差異和第三差異調(diào)整所述物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，

所述物體檢測神經(jīng)網(wǎng)絡(luò)為含有全局池化層的卷積神經(jīng)網(wǎng)絡(luò)；

所述提取所述樣本圖像的物體方向分布預測向量，包括：

從所述物體檢測神經(jīng)網(wǎng)絡(luò)的全局池化層中提取物體方向分布預測向量。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述根據(jù)所述方向標注數(shù)據(jù)和所述物體方向分布預測向量確定第三差異包括：

根據(jù)所述方向標注數(shù)據(jù)為所述樣本圖像的物體方向分布預測向量生成檢測監(jiān)督數(shù)據(jù)，其中，對于所述物體方向分布預測向量的各個元素，如果所述方向標注數(shù)據(jù)指示含有所述元素對應(yīng)的方向的物體，則為該元素生成正的監(jiān)督標簽；如果所述方向標注數(shù)據(jù)指示不含有所述元素對應(yīng)的方向的物體，則為所述元素生成負的監(jiān)督標簽，

根據(jù)所述檢測監(jiān)督數(shù)據(jù)和所述物體方向分布預測向量確定所述第三差異。

4.根據(jù)權(quán)利要求1～2中任一項所述的方法，其中，所述方向標注數(shù)據(jù)包括至少一個以下數(shù)據(jù)：物體相對于圖像畫面所在平面中標準方向的角度、物體在圖像畫面所處空間中的朝向、物體的特征點的平面坐標、物體的特征點的空間坐標。

5.根據(jù)權(quán)利要求1～2中任一項所述的方法，其中，所述樣本圖像還含有物體的尺寸標注數(shù)據(jù)，并且

所述方法還包括：

通過所述物體檢測神經(jīng)網(wǎng)絡(luò)獲取樣本圖像中物體的尺寸檢測數(shù)據(jù)；

確定所述尺寸標注數(shù)據(jù)和所述尺寸檢測數(shù)據(jù)之間的第四差異；

所述至少根據(jù)所述第一差異、第二差異和第三差異調(diào)整所述物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)包括：根據(jù)所述第一差異、第二差異、第三差異和第四差異調(diào)整所述物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

6.一種圖像處理方法，包括：

根據(jù)用于物體檢測的神經(jīng)網(wǎng)絡(luò)獲取待處理的圖像中物體的位置和方向以及全圖物體方向分布數(shù)據(jù)的預測信息；

根據(jù)所述物體的位置和方向以及全圖物體方向分布數(shù)據(jù)的預測信息當中的一個或多個執(zhí)行檢測或控制操作，

其中，所述用于物體檢測的神經(jīng)網(wǎng)絡(luò)通過如權(quán)利要求1～5中任一項所述的訓練方法訓練獲得。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述全圖物體方向分布數(shù)據(jù)包括物體方向分布預測向量，所述物體方向分布預測向量的各個元素分別指示所述待處理的圖像含有處于所述元素對應(yīng)的方向的物體的預測概率。

8.一種用于物體檢測的神經(jīng)網(wǎng)絡(luò)的訓練裝置，包括：

檢測模塊，用于通過待訓練的物體檢測神經(jīng)網(wǎng)絡(luò)提取樣本圖像中物體的位置檢測數(shù)據(jù)和方向檢測數(shù)據(jù)，以及提取所述樣本圖像的物體方向分布預測向量，所述樣本圖像含有物體的位置標注數(shù)據(jù)和方向標注數(shù)據(jù)，所述物體方向分布預測向量的各個元素分別指示所述樣本圖像含有處于所述元素對應(yīng)的方向的物體的預測概率；

差異確定模塊，用于確定所述位置標注數(shù)據(jù)和所述位置檢測數(shù)據(jù)之間的第一差異和所述方向標注數(shù)據(jù)和所述方向檢測數(shù)據(jù)之間的第二差異，并且根據(jù)所述方向標注數(shù)據(jù)和所述物體方向分布預測向量確定第三差異；

訓練模塊，用于至少根據(jù)所述第一差異、第二差異和第三差異調(diào)整所述物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。