[發(fā)明專利]期望與反期望深度學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711001729.0
• 申請日: 2017-10-24
• 公開（公告）號: CN108038543B
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 朱定局
• 申請（專利權(quán)）人: 華南師范大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 劉雯

本發(fā)明涉及一種期望與反期望深度學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)系統(tǒng)，通過輸出數(shù)據(jù)的期望標(biāo)簽和反期望標(biāo)簽構(gòu)造2個深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，分別對與期望標(biāo)簽對應(yīng)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和與反期望標(biāo)簽對應(yīng)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，避免了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)當(dāng)存在屬性相反的輸出數(shù)據(jù)時結(jié)構(gòu)動蕩的問題，提高了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是涉及一種期望與反期望深度學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

背景技術(shù)

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)通過輸入數(shù)據(jù)和輸出數(shù)據(jù)對深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。如果有的輸入數(shù)據(jù)在不同場景下既能產(chǎn)生屬性相反的輸出數(shù)據(jù)(這是有可能的，假如還有影響輸出結(jié)果的其他條件數(shù)據(jù)沒有包括在輸入數(shù)據(jù)中，那么就有可能因?yàn)槠渌麠l件數(shù)據(jù)的變化，而產(chǎn)生不同的輸出數(shù)據(jù))，此時就會在訓(xùn)練過程中引起深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的動蕩，不利于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，而且也不利于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的使用，因?yàn)闊o法得知輸出數(shù)據(jù)的可信度是多少。

例如，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)判斷一個人是不是男的，輸入不同人的人臉特征，同樣臉部特征的人可能是男的，也可能是女的，此時就會在訓(xùn)練過程中引起深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的動蕩。

發(fā)明內(nèi)容

基于此，有必要針對產(chǎn)生深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)當(dāng)存在屬性相反的輸出數(shù)據(jù)時結(jié)構(gòu)動蕩的問題，提供一種期望與反期望深度學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

一種期望與反期望深度學(xué)習(xí)方法，包括以下步驟：獲取訓(xùn)練數(shù)據(jù)中的輸出數(shù)據(jù)的期望標(biāo)簽和反期望標(biāo)簽；其中，所述反期望標(biāo)簽是與所述期望標(biāo)簽的屬性相反的標(biāo)簽；初始化與期望標(biāo)簽對應(yīng)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，得到期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，初始化與反期望標(biāo)簽對應(yīng)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，得到反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；分別對所述期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

所述的深度學(xué)習(xí)方法，分別對所述期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的步驟包括：通過訓(xùn)練數(shù)據(jù)中的輸入數(shù)據(jù)分別對期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行無監(jiān)督訓(xùn)練；從訓(xùn)練數(shù)據(jù)中獲取與期望標(biāo)簽一致的輸出標(biāo)簽對應(yīng)的輸入數(shù)據(jù)，將該輸入數(shù)據(jù)作為輸入，將1作為預(yù)期輸出，對期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練，并從訓(xùn)練數(shù)據(jù)中獲取與期望標(biāo)簽及反期望標(biāo)簽都不一致的輸出標(biāo)簽對應(yīng)的輸入數(shù)據(jù)，將該輸入數(shù)據(jù)作為輸入，將0作為預(yù)期輸出，對期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練；從訓(xùn)練數(shù)據(jù)中獲取與反期望標(biāo)簽一致的輸出標(biāo)簽對應(yīng)的輸入數(shù)據(jù)，將該輸入數(shù)據(jù)作為輸入，將1作為預(yù)期輸出，對反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練，并從訓(xùn)練數(shù)據(jù)中獲取與期望標(biāo)簽及反期望標(biāo)簽都不一致的輸出標(biāo)簽對應(yīng)的輸入數(shù)據(jù)，將該輸入數(shù)據(jù)作為輸入，將0作為預(yù)期輸出，對反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練。

所述的深度學(xué)習(xí)方法，從訓(xùn)練數(shù)據(jù)中獲取與期望標(biāo)簽一致的輸出標(biāo)簽對應(yīng)的輸入數(shù)據(jù)，將該輸入數(shù)據(jù)作為輸入，將1作為預(yù)期輸出，對期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練的步驟之后還包括：從訓(xùn)練數(shù)據(jù)中獲取與期望標(biāo)簽一致的第一輸出數(shù)據(jù)及其對應(yīng)的第一輸入數(shù)據(jù)；從每一第一輸入數(shù)據(jù)中篩選出第一預(yù)設(shè)比例的數(shù)據(jù)，得到對應(yīng)的每一第二輸入數(shù)據(jù)；將每一第二輸入數(shù)據(jù)作為輸入，將所述第一預(yù)設(shè)比例作為預(yù)期輸出，對期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練。

所述的深度學(xué)習(xí)方法，從訓(xùn)練數(shù)據(jù)中獲取與反期望標(biāo)簽一致的輸出標(biāo)簽對應(yīng)的輸入數(shù)據(jù)，將該輸入數(shù)據(jù)作為輸入，將1作為預(yù)期輸出，對反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練的步驟之后還包括：將所述訓(xùn)練數(shù)據(jù)中與反期望標(biāo)簽一致的輸出標(biāo)簽對應(yīng)的輸入數(shù)據(jù)作為第三輸入數(shù)據(jù)；從每一第三輸入數(shù)據(jù)中篩選出第二預(yù)設(shè)比例的數(shù)據(jù)，得到對應(yīng)的每一第四輸入數(shù)據(jù)；將每一第四輸入數(shù)據(jù)作為輸入，將對應(yīng)的第二預(yù)設(shè)比例作為預(yù)期輸出，對反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練。

所述的深度學(xué)習(xí)方法，在分別對所述期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和反期望深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之后，還包括以下步驟：計(jì)算輸入數(shù)據(jù)對應(yīng)的輸出屬于期望標(biāo)簽的可信度及輸入數(shù)據(jù)對應(yīng)的輸出屬于反期望標(biāo)簽的可信度。