[發明專利]一種基于知識萃取的增強神經網絡及信息推薦方法

有效

• 申請號: 201811618002.1
• 申請日: 2018-12-28
• 公開（公告）號: CN109740057B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 何發智;潘一騰;全權
• 申請（專利權）人: 武漢大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/042;G06N3/096
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種基于知識萃取的增強神經網絡的信息推薦方法，包括以下步驟：

步驟1：利用生成網絡計算軟標簽特征數據，所述軟標簽特征是指取值連續的標簽結果；

步驟1的具體實現包括以下子步驟：

步驟1.1：令表示n個用戶和m個產品之間的評價數據矩陣；如果用戶i喜歡產品j，則對應的元素R_i,j為1，否則為0；R_u是矩陣R的第u個向量，表示用戶u的評價數據向量；

步驟1.2：將輸入數據R_u映射到k維向量空間，得到對應的特征

其中，和是這一映射對應的權重和偏置參數；表示用戶潛在偏好特征矩陣，該矩陣的第u行向量V_u表示用戶u的潛在偏好特征；g(·)是激活函數；

步驟1.3：通過k維向量映射到m維空間，得到用戶u的線性映射特征和軟標簽特征

其中，和表示該線性映射對應的權重和偏置參數；

步驟2：利用噪聲過濾網絡抑制軟標簽特征數據中的噪聲并保留有效信息；

步驟2的具體實現包括以下子步驟：

步驟2.1：為了過濾軟標簽特征中的噪聲，首先基于每個單元的數據量計算對應的可靠性：

T(N_i)＝γlog(N_i+∈)

其中，T(·)表示計算可靠性的映射方程；N_i表示第i個單元對應正樣本的數量；γ用于調節全局可靠性程度；∈是一個大于0的整數，用于避免非法的計算結果；

步驟2.2：根據每個單元的可靠性，調整每個單元的輸出值，從而達到過濾噪聲保留有效信息的效果：

其中，Z_u,i表示對應于第u個用戶和第i個單元的軟標簽特征數據；S_u,i表示基于Z_u,i經過萃取層處理的數據結果；S_u表示用戶u的軟標簽特征向量，S_u的第i個單元對應于S_u,i的值；

步驟3：利用萃取網絡從軟標簽特征數據再次訓練學習更多的有效信息；

步驟3的具體實現包括以下子步驟：

步驟3.1：將用戶u的軟標簽特征向量S_u映射到k維子空間，得到對應的隱含特征

其中，和是這一映射對應的權重和偏置參數；g(·)是激活函數；

步驟3.2：將k維向量映射到m維空間，得到用戶u的預測評價

其中，和表示隱射函數的權重和偏置參數；g(·)是激活函數；

步驟3.3：根據下面的損失函數迭代更新增強神經網絡中的參數集合{V,W⁽¹⁾,W⁽²⁾,W⁽³⁾,W⁽⁴⁾,b⁽¹⁾,b⁽²⁾,b⁽³⁾,b⁽⁴⁾}，損失函數如下：

其中，和中的第u行向量分別為和即每一行向量由步驟1.3和步驟3.2中的公式計算得到；R_u,i表示用戶u對產品i的評價結果，和分別表示生成網絡和萃取網絡對用戶u和產品i的預測評價；集合表示用戶u的正樣本評價數據；集合表示從用戶u的負樣本數據中采樣得到的子集合，該樣本數量是的t倍；參數α用于調整生成網絡和萃取網絡的權重，λ用于控制模型復雜度，從而避免過擬合，l(·)表示損失方程；步驟4：根據梯度下降法訓練增強神經網絡模型，即同時訓練生成網絡和萃取網絡，從而得到最終的模型參數用于預測推薦結果；

所述增強神經網絡是基于知識萃取的增強神經網絡，由三部分構成，包括生成網絡、噪聲過濾網絡和萃取網絡；所述生成網絡用于生成初步的軟標簽特征；所述噪聲過濾網絡基于每個網絡節點的可靠度對噪聲進行有效過濾；所述萃取網絡用于從噪聲過濾后的軟標簽特征進行二次學習，從而得到更加準確的預測結果；步驟4的具體實現包括以下子步驟：

步驟4.1：根據深度學習庫pytorch自動計算梯度，然后迭代更新，訓練增強神經網絡模型中生成網絡和萃取網絡的參數：

其中，η表示學習率，θ^t表示第t次迭代后模型參數計算的結果，表示θ^t對應的梯度值；每次迭代將t次的結果減去η乘以梯度的值，從而得到新的模型參數；

步驟4.2：若迭代次數t小于預定閾值，則跳轉到步驟4.1，否則跳轉到步驟4.3；

步驟4.3：終止迭代訓練，得到模型的參數結果；

步驟5：將生成網絡和萃取網絡的訓練結果綜合起來預測用戶偏好并生成推薦結果；

步驟5的具體實現包括以下子步驟：

步驟5.1：根據步驟2和步驟4中生成的結果，得到用戶u的預測結果：

其中，參數β用于調整兩個子結果在最終結果中的重要程度；根據預測值選擇數值最高的N個單元作為推薦項目；

步驟5.2：采用MAP指標來評估預測結果：

其中，N表示推薦系統根據預測結果為每個用戶推薦的產品數量；I_u表示用戶u的正樣本集合；表示用戶u的預測樣本集合，數量為N；rel(u,k)＝1表示用戶u的推薦列表中，第k個項目是正確的。