[發(fā)明專(zhuān)利]一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201510932132.2
• 申請(qǐng)日: 2015-12-14
• 公開(kāi)（公告）號(hào): CN105512725B
• 公開(kāi)（公告）日: 2018-08-28
• 發(fā)明（設(shè)計(jì)）人: 叢林;李曉燕
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州朗和科技有限公司
• 主分類(lèi)號(hào): G06N3/08
• 分類(lèi)號(hào): G06N3/08;G06K9/62
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明的實(shí)施方式提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。該方法包括：構(gòu)建第一初始深度神經(jīng)網(wǎng)絡(luò)；利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)；其中，所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第一輸出節(jié)點(diǎn)和輔助節(jié)點(diǎn)，其中，每一所述第一輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第一初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第一輸出節(jié)點(diǎn)的數(shù)量等于所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量，所述輔助節(jié)點(diǎn)不對(duì)應(yīng)所述第一初始深度網(wǎng)絡(luò)的任何可輸出對(duì)象。此外，本發(fā)明的實(shí)施方式提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練設(shè)備。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施方式涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，本發(fā)明的實(shí)施方式涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和設(shè)備。

背景技術(shù)

本部分旨在為權(quán)利要求書(shū)中陳述的本發(fā)明的實(shí)施方式提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

許多計(jì)算機(jī)應(yīng)用、網(wǎng)絡(luò)服務(wù)應(yīng)用都具有利用輸入對(duì)象計(jì)算輸出對(duì)象的數(shù)據(jù)處理需求。例如，在具有圖像識(shí)別功能的應(yīng)用中，圖像作為輸入對(duì)象，圖像所屬的圖像標(biāo)簽作為輸出對(duì)象，這些應(yīng)用需要根據(jù)圖像計(jì)算出圖像所屬的圖像標(biāo)簽，從而實(shí)現(xiàn)圖像識(shí)別。其中，圖像標(biāo)簽表示圖像劃分的類(lèi)別。

目前，在現(xiàn)有的數(shù)據(jù)處理技術(shù)中，利用輸入對(duì)象計(jì)算輸出對(duì)象的數(shù)據(jù)處理，可以采用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。具體地，神經(jīng)網(wǎng)絡(luò)可以為輸入對(duì)象提供多個(gè)可輸出對(duì)象，采用已知對(duì)應(yīng)關(guān)系的輸入對(duì)象與輸出對(duì)象所組成的訓(xùn)練數(shù)據(jù)，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以使得訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)能夠表示不同的輸入對(duì)象與各可輸出對(duì)象之間的對(duì)應(yīng)關(guān)系，因此，將未知對(duì)應(yīng)輸出對(duì)象的輸入對(duì)象輸入到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)之后，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)通過(guò)計(jì)算就可以輸出該輸入對(duì)象對(duì)應(yīng)的輸出對(duì)象。

發(fā)明內(nèi)容

發(fā)明人經(jīng)過(guò)研究發(fā)現(xiàn)，現(xiàn)有技術(shù)中，神經(jīng)網(wǎng)絡(luò)具有輸入層和輸出層，其中，輸出層上的每一個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)可輸出對(duì)象，即，輸出層上的節(jié)點(diǎn)數(shù)量與可輸出對(duì)象的數(shù)量是相同的。但是，在可輸出對(duì)象的數(shù)量過(guò)大的情況下，如果訓(xùn)練數(shù)據(jù)較少或?qū)?yīng)各可輸出對(duì)象的訓(xùn)練數(shù)據(jù)不均衡，就可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中總體誤差的上下波動(dòng)，導(dǎo)致訓(xùn)練無(wú)法收斂，從而造成訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)無(wú)法為輸入對(duì)象計(jì)算出準(zhǔn)確的輸出對(duì)象。

因此在現(xiàn)有技術(shù)中，神經(jīng)網(wǎng)絡(luò)訓(xùn)練經(jīng)常出現(xiàn)無(wú)法收斂的問(wèn)題，從而造成訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)無(wú)法為輸入對(duì)象計(jì)算準(zhǔn)確的輸出對(duì)象，這是非常令人煩惱的過(guò)程。

為此，非常需要一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備，以避免神經(jīng)網(wǎng)絡(luò)訓(xùn)練無(wú)法收斂的問(wèn)題，從而使得訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)可以為輸入變量計(jì)算準(zhǔn)確的輸出變量。

在本上下文中，本發(fā)明的實(shí)施方式期望提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和設(shè)備。

在本發(fā)明實(shí)施方式的第一方面中，提供了一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，包括：構(gòu)建第一初始深度神經(jīng)網(wǎng)絡(luò)；利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)；其中，所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第一輸出節(jié)點(diǎn)和輔助節(jié)點(diǎn)，其中，每一所述第一輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第一初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第一輸出節(jié)點(diǎn)的數(shù)量等于所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量，所述輔助節(jié)點(diǎn)不對(duì)應(yīng)所述第一初始深度網(wǎng)絡(luò)的任何可輸出對(duì)象。

在本發(fā)明第一方面的一個(gè)實(shí)施例中，所述方法還包括：對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò)；利用第二訓(xùn)練數(shù)據(jù)對(duì)所述第二初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第二目標(biāo)深度神經(jīng)網(wǎng)絡(luò)；其中，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第二輸出節(jié)點(diǎn)，每一所述第二輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第二初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第二輸出節(jié)點(diǎn)的數(shù)量等于所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量；所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第一類(lèi)別，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第二類(lèi)別，所述第二類(lèi)別為所述第一類(lèi)別的細(xì)化分類(lèi)。