[發(fā)明專利]網(wǎng)絡(luò)訓(xùn)練方法、處理方法、裝置、存儲介質(zhì)和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201710457590.4
• 申請日: 2017-06-16
• 公開（公告）號: CN108229494B
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 郝澤錕;秦紅偉;閆俊杰
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京康達(dá)聯(lián)禾知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11461
• 代理人: 羅延紅;金丹

本發(fā)明實施例提供一種網(wǎng)絡(luò)訓(xùn)練方法、處理方法、裝置、存儲介質(zhì)和電子設(shè)備。該訓(xùn)練方法包括：通過待訓(xùn)練的物體檢測神經(jīng)網(wǎng)絡(luò)提取樣本圖像中物體的位置檢測數(shù)據(jù)和方向檢測數(shù)據(jù)以及物體方向分布預(yù)測向量，物體方向分布預(yù)測向量的各個元素分別指示樣本圖像含有處于所述元素對應(yīng)的方向的物體的預(yù)測概率；確定位置標(biāo)注數(shù)據(jù)和位置檢測數(shù)據(jù)之間的第一差異和方向標(biāo)注數(shù)據(jù)和方向檢測數(shù)據(jù)之間的第二差異，并且根據(jù)方向標(biāo)注數(shù)據(jù)和物體方向分布預(yù)測向量確定第三差異；至少根據(jù)第一差異、第二差異和第三差異調(diào)整物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。基于多任務(wù)訓(xùn)練的物體檢測神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，得到提供圖像中物體的位置、方向和圖像中物體的方向分布數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及人工智能技術(shù)，尤其涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、圖像處理方法、裝置、計算機(jī)可讀存儲介質(zhì)和電子設(shè)備。

背景技術(shù)

從圖像或視頻中檢測出指定類別的物體是計算機(jī)視覺技術(shù)的一項重要任務(wù)。通常，需要先從圖像或視頻幀中提取可能含有物體的候選區(qū)域框，然后對提取出的候選區(qū)域框進(jìn)行物體類別的識別。在此過程中，還可檢測出物體的尺寸等信息。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于，提供一種用于物體檢測的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練技術(shù)方案以及物體檢測技術(shù)方案，以通過訓(xùn)練得到的用于物體檢測的神經(jīng)網(wǎng)絡(luò)獲取圖像中出現(xiàn)的物體的方向和位置以及圖像中物體方向分布的數(shù)據(jù)。

根據(jù)本發(fā)明實施例的第一方面，提供一種用于物體檢測的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：通過待訓(xùn)練的物體檢測神經(jīng)網(wǎng)絡(luò)提取樣本圖像中物體的位置檢測數(shù)據(jù)和方向檢測數(shù)據(jù)，以及提取所述樣本圖像的物體方向分布預(yù)測向量，所述樣本圖像含有物體的位置標(biāo)注數(shù)據(jù)和方向標(biāo)注數(shù)據(jù)，所述物體方向分布預(yù)測向量的各個元素分別指示所述樣本圖像含有處于所述元素對應(yīng)的方向的物體的預(yù)測概率；確定所述位置標(biāo)注數(shù)據(jù)和所述位置檢測數(shù)據(jù)之間的第一差異和所述方向標(biāo)注數(shù)據(jù)和所述方向檢測數(shù)據(jù)之間的第二差異，并且根據(jù)所述方向標(biāo)注數(shù)據(jù)和所述物體方向分布預(yù)測向量確定第三差異；至少根據(jù)所述第一差異、第二差異和第三差異調(diào)整所述物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

可選地，所述物體檢測神經(jīng)網(wǎng)絡(luò)為含有全局池化層的卷積神經(jīng)網(wǎng)絡(luò)；所述提取所述樣本圖像的物體方向分布預(yù)測向量，包括：從所述物體檢測神經(jīng)網(wǎng)絡(luò)的全局池化層中提取物體方向分布預(yù)測向量。

可選地，所述根據(jù)所述方向標(biāo)注數(shù)據(jù)和所述物體方向分布預(yù)測向量確定第三差異包括：根據(jù)所述方向標(biāo)注數(shù)據(jù)為所述樣本圖像的物體方向分布預(yù)測向量生成檢測監(jiān)督數(shù)據(jù)，其中，對于所述物體方向分布預(yù)測向量的各個元素，如果所述方向標(biāo)注數(shù)據(jù)指示含有所述元素對應(yīng)的方向的物體，則為該元素生成正的監(jiān)督標(biāo)簽；如果所述方向標(biāo)注數(shù)據(jù)指示不含有所述元素對應(yīng)的方向的物體，則為所述元素生成負(fù)的監(jiān)督標(biāo)簽；根據(jù)所述檢測監(jiān)督數(shù)據(jù)和所述物體方向分布預(yù)測向量確定所述第三差異。

可選地，所述方向標(biāo)注數(shù)據(jù)包括至少一個以下數(shù)據(jù)：物體相對于圖像畫面所在平面中標(biāo)準(zhǔn)方向的角度、物體在圖像畫面所處空間中的朝向、物體的特征點的平面坐標(biāo)、物體的特征點的空間坐標(biāo)。

可選地，所述樣本圖像還含有物體的尺寸標(biāo)注數(shù)據(jù)，并且所述方法還包括：通過所述物體檢測神經(jīng)網(wǎng)絡(luò)獲取樣本圖像中物體的尺寸檢測數(shù)據(jù)；確定所述尺寸標(biāo)注數(shù)據(jù)和所述尺寸檢測數(shù)據(jù)之間的第四差異；所述至少根據(jù)所述第一差異、第二差異和第三差異調(diào)整所述物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)包括：根據(jù)所述第一差異、第二差異、第三差異和第四差異調(diào)整所述物體檢測神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

根據(jù)本發(fā)明實施例的第二方面，還提供一種圖像處理方法，包括：根據(jù)用于物體檢測的神經(jīng)網(wǎng)絡(luò)獲取待處理的圖像中物體的位置和方向以及全圖物體方向分布數(shù)據(jù)的預(yù)測信息；根據(jù)所述物體的位置和方向以及全圖物體方向分布數(shù)據(jù)的預(yù)測信息當(dāng)中的一個或多個執(zhí)行檢測或控制操作。

可選地，所述用于物體檢測的神經(jīng)網(wǎng)絡(luò)通過前述任一所述的訓(xùn)練方法訓(xùn)練獲得。