[發(fā)明專利]一種基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)及信息推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811618002.1
• 申請(qǐng)日: 2018-12-28
• 公開（公告）號(hào): CN109740057B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 何發(fā)智;潘一騰;全權(quán)
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06N3/042;G06N3/096
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魏波

本發(fā)明公開了一種基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)及信息推薦方法，首先，提出一種融合了軟標(biāo)簽生成和標(biāo)簽再訓(xùn)練兩個(gè)階段的增強(qiáng)神經(jīng)網(wǎng)絡(luò)方法，該方法可以從硬標(biāo)簽數(shù)據(jù)中生成的軟標(biāo)簽中提取到更多的有效信息。其次，提出一個(gè)萃取層來平衡軟標(biāo)簽中的信息和噪聲對(duì)網(wǎng)絡(luò)的影響，該方法通過抑制噪聲能夠提高信息萃取的有效性。最終，提出綜合兩個(gè)階段的預(yù)測(cè)結(jié)果來生成個(gè)性化推薦結(jié)果，該方法可以進(jìn)一步提高推薦精度。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)和數(shù)據(jù)挖掘技術(shù)領(lǐng)域，特別涉及一種基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)及信息推薦方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的不斷發(fā)展，信息過載問題越來越成為困擾用戶獲取有效信息的重要問題。為了解決信息過載問題，許多推薦方法提出利用用戶的歷史評(píng)價(jià)數(shù)據(jù)對(duì)用戶建模，從而生成推薦結(jié)果幫助用戶獲取需要的有用信息，這一類方法被稱為協(xié)同過濾算法。

近年來，隨著神經(jīng)網(wǎng)絡(luò)算法在各個(gè)領(lǐng)域取得的巨大成功，越來越多學(xué)者提出利用神經(jīng)網(wǎng)絡(luò)對(duì)用戶歷史數(shù)據(jù)進(jìn)行建模，從而生成更為精確的推薦結(jié)果。然而，用戶的歷史評(píng)價(jià)數(shù)據(jù)通常都是非常稀疏的，這對(duì)于訓(xùn)練一個(gè)魯棒的神經(jīng)網(wǎng)絡(luò)來說是一個(gè)巨大的挑戰(zhàn)。通常來說，由于神經(jīng)網(wǎng)絡(luò)有非常多的參數(shù)，一般來說需要大量的數(shù)據(jù)來訓(xùn)練模型。所以，如何從稀疏的數(shù)據(jù)中挖掘更多的有效信息，成為解決這一問題的關(guān)鍵方法之一。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，從稀疏數(shù)據(jù)中提取更多的有效信息，本發(fā)明提出了一種新的基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)，并基于此提出一種新的神經(jīng)網(wǎng)絡(luò)信息推薦方法，能夠有效的從軟標(biāo)簽中提取更多的有效信息，進(jìn)而提高推薦精度。

本發(fā)明提供了一種基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)。如圖1所示，該網(wǎng)絡(luò)由三部分構(gòu)成，包括生成網(wǎng)絡(luò)、噪聲過濾和萃取網(wǎng)絡(luò)；其中，生成網(wǎng)絡(luò)用于生成初步的軟標(biāo)簽特征(區(qū)別于采用離散值的硬標(biāo)簽，軟標(biāo)簽特征是指取值連續(xù)的標(biāo)簽結(jié)果)，噪聲過濾網(wǎng)絡(luò)基于每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的可靠度對(duì)噪聲進(jìn)行有效過濾，萃取網(wǎng)絡(luò)用于從噪聲過濾后的軟標(biāo)簽特征進(jìn)行二次學(xué)習(xí)，從而得到更加準(zhǔn)確的預(yù)測(cè)結(jié)果。

本發(fā)明還提供了一種基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)的信息推薦方法，包括以下步驟：

步驟1：利用圖1中的生成網(wǎng)絡(luò)計(jì)算軟標(biāo)簽特征數(shù)據(jù)(區(qū)別于采用離散值的硬標(biāo)簽，軟標(biāo)簽特征是指取值連續(xù)的標(biāo)簽結(jié)果)；

步驟2：利用噪聲過濾網(wǎng)絡(luò)抑制軟標(biāo)簽特征數(shù)據(jù)中的噪聲并保留有效信息；

步驟3：利用圖1中的萃取網(wǎng)絡(luò)從軟標(biāo)簽特征數(shù)據(jù)再次訓(xùn)練學(xué)習(xí)更多的有效信息；

步驟4：根據(jù)梯度下降法訓(xùn)練增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型，即同時(shí)訓(xùn)練生成網(wǎng)絡(luò)和萃取網(wǎng)絡(luò)，從而得到最終的模型參數(shù)用于預(yù)測(cè)推薦結(jié)果；

步驟5：將生成網(wǎng)絡(luò)和萃取網(wǎng)絡(luò)的訓(xùn)練結(jié)果綜合起來預(yù)測(cè)用戶偏好并生成推薦結(jié)果。

本發(fā)明可以有效的從軟標(biāo)簽中提取更多的隱含信息，能夠有效的抑制軟標(biāo)簽中的噪聲信息，從而提高推薦精度。

附圖說明

圖1為本發(fā)明實(shí)施例的增強(qiáng)神經(jīng)網(wǎng)絡(luò)的原理模型圖。

具體實(shí)施方式

為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

請(qǐng)見圖1，本發(fā)明提供了一種基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)。如圖1所示，該網(wǎng)絡(luò)由三部分構(gòu)成，包括生成網(wǎng)絡(luò)、噪聲過濾和萃取網(wǎng)絡(luò)；其中，生成網(wǎng)絡(luò)用于生成初步的軟標(biāo)簽特征(區(qū)別于采用離散值的硬標(biāo)簽，軟標(biāo)簽特征是指取值連續(xù)的標(biāo)簽結(jié)果)，噪聲過濾網(wǎng)絡(luò)基于每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的可靠度對(duì)噪聲進(jìn)行有效過濾，萃取網(wǎng)絡(luò)用于從噪聲過濾后的軟標(biāo)簽特征進(jìn)行二次學(xué)習(xí)，從而得到更加準(zhǔn)確的預(yù)測(cè)結(jié)果。

本發(fā)明還提供了一種基于知識(shí)萃取的增強(qiáng)神經(jīng)網(wǎng)絡(luò)的信息推薦方法，包括以下步驟：