[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)訓練方法和系統(tǒng)、電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201611097445.1
• 申請日: 2016-12-02
• 公開（公告）號: CN108154222B
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計）人: 石建萍;趙恒爽
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種深度神經(jīng)網(wǎng)絡(luò)訓練方法，其特征在于，包括：

在前向傳播過程中，利用深度神經(jīng)網(wǎng)絡(luò)模型對樣本圖像進行場景分析檢測，獲得所述深度神經(jīng)網(wǎng)絡(luò)模型的中間網(wǎng)絡(luò)層輸出的第一場景分析預測結(jié)果以及末個網(wǎng)絡(luò)層輸出的第二場景分析預測結(jié)果；

確定所述第一場景分析預測結(jié)果和所述樣本圖像的場景分析標注信息之間的第一差異、以及所述第二場景分析預測結(jié)果和所述樣本圖像的場景分析標注信息之間的第二差異；

在反向傳播過程中，根據(jù)所述第一差異調(diào)整第一網(wǎng)絡(luò)層的參數(shù)、并根據(jù)所述第一差異和所述第二差異調(diào)整第二網(wǎng)絡(luò)層的參數(shù)；其中：所述第二網(wǎng)絡(luò)層包括所述深度神經(jīng)網(wǎng)絡(luò)模型中位于所述中間網(wǎng)絡(luò)層和所述末個網(wǎng)絡(luò)層之間的至少一網(wǎng)絡(luò)層，所述第一網(wǎng)絡(luò)層包括所述深度神經(jīng)網(wǎng)絡(luò)模型中至少一除所述第二網(wǎng)絡(luò)層之外的其他網(wǎng)絡(luò)層。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述中間網(wǎng)絡(luò)層包括所述深度神經(jīng)網(wǎng)絡(luò)模型中的多個網(wǎng)絡(luò)層；不同的中間網(wǎng)絡(luò)層進行參數(shù)調(diào)整的網(wǎng)絡(luò)層不同。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述深度神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)層數(shù)量為N，所述中間網(wǎng)絡(luò)層為所述深度神經(jīng)網(wǎng)絡(luò)模型中在前向傳播方向上的第M層；其中，N的取值為大于2的整數(shù)，M的取值為大于2、且小于N的整數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，M的取值大于N/2。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述第一差異和所述第二差異調(diào)整第二網(wǎng)絡(luò)層的參數(shù)，包括：

為所述第一差異和所述第二差異確定不同的權(quán)重；

根據(jù)所述第一差異及其權(quán)重、所述第二差異及其權(quán)重調(diào)整所述第二網(wǎng)絡(luò)層的參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述第一差異的權(quán)重小于所述第二差異的權(quán)重。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述中間網(wǎng)絡(luò)層包括輔助分類層；

所述第一場景分析預測結(jié)果包括所述輔助分類層輸出的對所述樣本圖像中各像素的場景分類預測結(jié)果。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述方法還包括：

對所述深度神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)訓練完成后，去除所述輔助分類層。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，確定所述第一場景分析預測結(jié)果和所述樣本圖像的場景分析標注信息之間的第一差異，包括：

利用第一分類代價函數(shù)層獲取所述第一場景分析預測結(jié)果和所述場景分析標注信息中對所述樣本圖像中各像素的場景分類預測結(jié)果之間的差異，作為所述第一差異；

對所述深度神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)訓練完成后，去除所述第一分類代價函數(shù)層。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述第一分類代價函數(shù)層包括：回歸softmax損失函數(shù)、熵函數(shù)或者支持向量機SVM代價函數(shù)。

11.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二場景分析預測結(jié)果包括所述末個網(wǎng)絡(luò)層輸出的對所述樣本圖像中各像素的場景分類預測結(jié)果。

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，確定所述第二場景分析預測結(jié)果和所述樣本圖像的場景分析標注信息之間的第二差異包括：

利用第二分類代價函數(shù)層獲取第二場景分析預測結(jié)果和所述場景分析標注信息中對所述樣本圖像中各像素的場景分類預測結(jié)果之間的差異，作為所述第二差異。

13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述方法還包括：

對所述深度神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)訓練完成后，去除所述第二分類代價函數(shù)層。

14.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述第二分類代價函數(shù)層包括：回歸softmax損失函數(shù)、熵函數(shù)或者支持向量機SVM代價函數(shù)。