[發(fā)明專利]一種控制推薦系統(tǒng)的解糾纏表示的方法

在審

• 申請?zhí)枺?/td>: 202110387536.3
• 申請日: 2021-04-12
• 公開（公告）號: CN115203518A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計）人: 鮮學(xué)豐;孫遜;李蘊祎;張量;方立剛;趙朋朋
• 申請（專利權(quán)）人: 蘇州市職業(yè)大學(xué)
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 曹毅

1.一種控制推薦系統(tǒng)的解糾纏表示的方法，其特征在于，該方法包括以下步驟：

步驟1）構(gòu)建變分自編碼器VAE模型，從未觀察到的連續(xù)隨機變量z中學(xué)習(xí)數(shù)據(jù)x的似然概率，并引入可調(diào)整的超參數(shù)β作為拉格朗日乘數(shù)，構(gòu)成β-VAE模型；

步驟2）修改PID控制器，以適應(yīng)變分自編碼器VAE模型，首先，使用指數(shù)函數(shù)的倒數(shù)代替比例控制，其次，將積分項和微分項從連續(xù)過程轉(zhuǎn)變?yōu)殡x散過程，以適應(yīng)推薦訓(xùn)練模型，最后，添加一個常量來確定的初始值范圍，訓(xùn)練總相關(guān)性KL散度，使得保持恒定；

步驟3）選擇PID控制器的參數(shù)，確保PID控制器對誤差做出充分的反應(yīng)，并平穩(wěn)地改變輸出；

步驟4）解糾纏表示的學(xué)習(xí)，將與真實標簽相關(guān)的輔助信息用作監(jiān)督信號作為項目嵌入，以指導(dǎo)系統(tǒng)使用因式高斯分布來學(xué)習(xí)與實際概念相關(guān)的用戶表示。

2.根據(jù)權(quán)利要求1所述的控制推薦系統(tǒng)的解糾纏表示的方法，其特征在于，所述步驟1）中，變分自編碼器VAE模型包括識別模型和生成模型，識別模型將觀察到的數(shù)據(jù)x編碼為服從真實分布的潛在變量z，生成模型將潛在表示恢復(fù)為數(shù)據(jù)x，由于真實分布是難解的，因此借助近似后驗分布訓(xùn)練模型，變分自編碼器VAE模型的訓(xùn)練目標寫為證據(jù)下限ELBO：

，其中，先驗分布和后驗分布被定義為標準高斯分布，為了估計證據(jù)下界的梯度，使用重參數(shù)化技巧將連續(xù)分布轉(zhuǎn)換為離散關(guān)系，即將隨機變量z參數(shù)化為噪聲變量的可微轉(zhuǎn)換，并通過最大化證據(jù)下界來進行訓(xùn)練：，引入超參數(shù)β后為：

，當超參數(shù)β很大時，變分自編碼器VAE模型傾向于減少潛在因子和輸入數(shù)據(jù)之間的相互信息，從而導(dǎo)致更獨立的潛在表示，對總相關(guān)性KL散度施加較大的約束，使后驗分布與單位高斯先驗之間的差距最小。

3.根據(jù)權(quán)利要求2所述的控制推薦系統(tǒng)的解糾纏表示的方法，其特征在于，所述步驟2）中，修改后的PID控制器定義如下：

；其中，代表設(shè)定點C與訓(xùn)練步驟t時刻的總相關(guān)性KL反饋之間的誤差，借助指數(shù)函數(shù)，使得式中第一項的范圍在0到之間，避免由線性比例項引起的控制不穩(wěn)定性；式中第二項將所有先前周期的誤差相加，該積分項產(chǎn)生越來越強的校正，當PID控制器的誤差保持為負，即總相關(guān)性KL偏差高于設(shè)定點C時，該項將不斷增加，導(dǎo)致更大的值，并鼓勵總相關(guān)性KL偏差縮小，相反，當誤差為正，即總相關(guān)性KL偏差低于設(shè)定點C時，第二項將繼續(xù)減少，從而導(dǎo)致較低的，并迫使總相關(guān)性KL散度增大，在這兩種情況下，積分控制的改變都將迫使朝指導(dǎo)總相關(guān)性KL散度接近設(shè)定點C的方向變化；式中第三項用于反映偏差信號的變化趨勢，一旦發(fā)現(xiàn)誤差變化更大或更小，就會立即產(chǎn)生一個控制信號以抵抗其變化并防止系統(tǒng)過沖；即總相關(guān)性KL散度被訓(xùn)練到適當點時，將保持恒定，整個模型在重建與解糾纏之間找到平衡，從模型中學(xué)到的用戶表示能獨立提取各種概念的用戶意圖。

4.根據(jù)權(quán)利要求3所述的控制推薦系統(tǒng)的解糾纏表示的方法，其特征在于，所述步驟3）中，首先，考慮總相關(guān)性KL散度的設(shè)定值C，將設(shè)定值C從較低值線性增加到大值，修改后的PID控制器將迫使總相關(guān)性KL散度很小，并在開始時學(xué)習(xí)良好的解糾纏表示，隨著期望值的增加，修改后的PID控制器將逐漸增加總相關(guān)性KL散度并減小重建誤差，直到整個系統(tǒng)變得穩(wěn)定為止；其次，在衡量變量，和方面，首先考慮指數(shù)項，當總相關(guān)性KL散度訓(xùn)練到接近所需值的適當值時，積分項和微分項將保持恒定，因此，指數(shù)控制充當β最終值的確定角色；最后，為了確保β不會太小，在訓(xùn)練期間將的值設(shè)置為1，積分和微分項用于使PID控制器對誤差的變化敏感，但是靈敏度過高，系統(tǒng)將不穩(wěn)定并發(fā)生振蕩，故和的取值介于0.5到1之間，以使訓(xùn)練穩(wěn)定，確保PID控制器的有效性。

5.根據(jù)權(quán)利要求4所述的控制推薦系統(tǒng)的解糾纏表示的方法，其特征在于，所述步驟4）中，令中的數(shù)字表示項目的附加信息，對應(yīng)于現(xiàn)實世界中的第i個概念，將潛在變量z的后驗分布定義為：

，其中，變量是基于附加觀測值的因式高斯分布條件：

，然后，遵循變分推理的推斷方法，重寫證據(jù)下界，如下所示：

，式中的KL項可分解為：

，式中的第一項表示數(shù)據(jù)x和潛在變量z之間的互信息MI，式中的第二項為總相關(guān)TC，其是變量之間獨立性的量度，對總相關(guān)TC項的更重的懲罰使模型學(xué)習(xí)更強的解糾纏表示，其每個維度都是獨立的，式中的第三項為維度KL，其作用是防止單個潛在維度偏離其相應(yīng)的先驗值，故對總相關(guān)性KL散度加強懲罰，則模型可以從觀察到的數(shù)據(jù)中找到統(tǒng)計上獨立的因素，從而導(dǎo)致更解糾纏的表示。