[發明專利]一種MMoE和LightGBM混合的預測模型的方法

在審

• 申請號: 202210611737.1
• 申請日: 2022-05-31
• 公開（公告）號: CN115168701A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 凌靜;陳曦
• 申請（專利權）人: 長沙理工大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N20/00;G06Q30/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種MMoE和LightGBM混合的預測模型的方法，其特征在于，所述方法包括：

對于給定的一定數量到訪過購物APP“熱門推薦”的用戶，根據這些用戶在購物軟件內的歷史n天的行為數據，通過算法在測試集上預測出這些用戶對于不同產品內容的行為(包括查看商品、收藏、分享、查看評論、加入購物車、購買)的發生概率。

構建組合深度學習網絡：所述組合深度學習網絡包含一個MMoE模型和一個LightGBM模型。將提取的用戶在n天的行為數據分別放入兩個模型里面進行訓練，然后再將得到的輸出進行線性組合，進行多次實驗得到一個最優的線性組合。

根據所述用戶n的行為數據對所述組合深度學習網絡進行訓練，得到訓練好的用戶行為預測模型；

獲取用戶n天的行為數據輸入，并進行預處理得到待測用戶行為的數據序列；

將所述待測輸入到MMoE和Light GBM模型中，得到用戶的不同行為(包括查看商品、收藏、分享、查看評論、加入購物車、購買)預測值概率值，然后再將兩個值進行線性組合。

2.根據權利要求1所述的一種MMoE和LightGBM混合的預測模型的方法，其特征在于，獲取n個用戶在n天的行為數據，并進行預處理得到一個行為序列，包括：

獲取多個用戶n天的行為；

對每條數據采用插值法補全缺省值。

3.根據權利要求1所述的MMoE和LightGBM混合的預測模型的方法，其特征在于，根據所述用戶n天的行為序列分別對MMoE和Light GBM進行訓練，得到訓練好的用戶行為(包括查看商品、收藏、分享、查看評論、加入購物車、購買)預測模型，然后進行線性組合，找到最優的預測值包括：

將每個用戶的行為數據作為輸入，并且將多個用戶行為數據分為訓練樣本和測試樣本，輸入到MMoE模型中去，得到多個輸出，然后再輸入到LightGBM中去得到輸出，然后再將得到的結果進行多個線性組合，去到局部最優解。

利用測試樣本對預估的用戶行為預測模型進行測試，得到訓練好的用戶行為預測模型。

4.根據權利要求1-3任一項所述的一種MMoE和LightGBM混合的預測模型的方法，其特征在于，所述embedding提取模塊中采用Time2Vec方式進行所述用戶行為序列進行embedding提取。

5.一種MMoE和LightGBM混合的預測模型，所述方法包括：

數據獲取和預處理模塊，用于獲取多個用戶n天的行為數據，并進行預處理得到用戶n天的行為數據序列；

模型構建模塊，用戶構建組合深度學習網絡；所述組合深度學習網絡包含一個MMoE模型和一個LightGBM模型。這兩個模型都擁有embedding提取模塊，所述embedding層提取模塊用于提取用戶在n天的行為，將數據轉化為多維矩陣。將多維矩陣的數據作為輸入，輸入到MMoE模型和Light GBM模型中進行訓練學習，得到的輸出再進行線性組合。

所述的MMoE模型是一種多任務學習模型，包含多個門控網絡和多個專家，Gate：把輸入通過一個線性變換映射到維，再算個softmax得到每個Expert的權重。Expert：簡單的基層全連接網絡，relu激活，每個Expert獨立權重

所述的Light GBM是一種先把連續的浮點特征值離散化成個整數，同時構造造一個寬度為的直方圖。在遍歷數據的時候，根據離散化后的值作為索引在直方圖中累積統計量，當遍歷一次數據后，直方圖累積了需要的統計量，然后根據直方圖的離散值，遍歷尋找最優的分割點

模型訓練模塊，用于根據所述用戶n天行為數據對所述組合深度學習網絡進行訓練，得到訓練好的用戶行為預測模型；

獲取用戶n天的行為數據輸入，并進行預處理得到待測用戶行為的數據序列；

將所述待測輸入到MMoE和Light GBM模型中，得到用戶的不同行為(包括查看商品、收藏、分享、查看評論、加入購物車、購買)預測值概率值。