[發(fā)明專利]一種基于無監(jiān)督學(xué)習(xí)的推薦方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111171685.2
• 申請日: 2021-10-08
• 公開（公告）號: CN113901289A
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計）人: 郭鑫潤
• 申請（專利權(quán)）人: 新華智云科技有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035;G06K9/62;G06N3/08
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 楊琪宇

1.一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，包括以下步驟：

獲取第一訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第一次輸入bert模型，得到第二訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第二次輸入bert模型，得到第三訓(xùn)練數(shù)據(jù)；

所述第二訓(xùn)練數(shù)據(jù)和所述第三訓(xùn)練數(shù)據(jù)構(gòu)成正樣本對和負(fù)樣本對，所述正樣本對和所述負(fù)樣本輸入loss函數(shù)，得到損失值；

判斷損失值是否在預(yù)設(shè)閾值內(nèi)，若否，重復(fù)運(yùn)行獲取第一訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第一次輸入bert模型以及之后的步驟；若是，得到精準(zhǔn)bert模型；

獲取用戶數(shù)據(jù)，將處理后的所述用戶數(shù)據(jù)輸入精準(zhǔn)bert模型，計算所述用戶數(shù)據(jù)和待推薦數(shù)據(jù)的相似度分?jǐn)?shù)，根據(jù)所述相似度分?jǐn)?shù)對用戶進(jìn)行推薦。

2.如權(quán)利要求1所述的一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，所述第一訓(xùn)練數(shù)據(jù)第一次輸入bert模型，得到第二訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第二次輸入bert模型，得到第三訓(xùn)練數(shù)據(jù)，具體包括以下步驟：

設(shè)置bert模型中dropout層的預(yù)設(shè)參數(shù)不為0，每個輸出節(jié)點(diǎn)以所述預(yù)設(shè)參數(shù)的概率置0；

所述第一訓(xùn)練數(shù)據(jù)第一次輸入bert模型，得到第二訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第二次輸入bert模型，得到第三訓(xùn)練數(shù)據(jù)，其中，所述第二訓(xùn)練數(shù)據(jù)和所述第三訓(xùn)練數(shù)據(jù)不相同。

3.如權(quán)利要求1所述的一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，所述第二訓(xùn)練數(shù)據(jù)和所述第三訓(xùn)練數(shù)據(jù)構(gòu)成正樣本對和負(fù)樣本對，具體包括以下步驟：

所述第二訓(xùn)練數(shù)據(jù)和所述第三訓(xùn)練數(shù)據(jù)基于相同的輸入數(shù)據(jù)構(gòu)成正樣本對；

所述第二訓(xùn)練數(shù)據(jù)和所述第三訓(xùn)練數(shù)據(jù)基于不同的輸入數(shù)據(jù)構(gòu)成負(fù)樣本對。

4.如權(quán)利要求1所述的一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，獲取用戶數(shù)據(jù)，將處理后的所述用戶數(shù)據(jù)輸入精準(zhǔn)bert模型，具體包括以下步驟：

對所述用戶數(shù)據(jù)進(jìn)行增強(qiáng)，所述增強(qiáng)方法包括回譯和詞對互換；

將增強(qiáng)后的用戶數(shù)據(jù)輸入精準(zhǔn)bert模型，得到用戶的embedding特征向量。

5.如權(quán)利要求1所述的一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，還包括步驟：

定時獲取線上的更新訓(xùn)練數(shù)據(jù)，所述更新訓(xùn)練數(shù)據(jù)輸入精準(zhǔn)bert模型，根據(jù)所述更新訓(xùn)練數(shù)據(jù)對所述精準(zhǔn)bert模型進(jìn)行進(jìn)一步訓(xùn)練。

6.如權(quán)利要求1所述的一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，所述第二訓(xùn)練數(shù)據(jù)為embedding特征向量，所述第三訓(xùn)練數(shù)據(jù)為embedding特征向量，所述第二訓(xùn)練數(shù)據(jù)和所述第三訓(xùn)練數(shù)據(jù)均為待推薦數(shù)據(jù)。

7.如權(quán)利要求4所述的一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，所述第二訓(xùn)練數(shù)據(jù)、所述第三訓(xùn)練數(shù)據(jù)和所述用戶的embedding特征向量均存儲在數(shù)據(jù)庫中。

8.如權(quán)利要求1所述的一種基于無監(jiān)督學(xué)習(xí)的推薦方法，其特征在于，計算所述用戶數(shù)據(jù)和待推薦數(shù)據(jù)的相似度分?jǐn)?shù)，根據(jù)所述相似度分?jǐn)?shù)對用戶進(jìn)行推薦具體包括以下步驟：

根據(jù)余弦相似度算法計算所述用戶數(shù)據(jù)和待推薦數(shù)據(jù)的相似度分?jǐn)?shù)；

根據(jù)所述相似度分?jǐn)?shù)進(jìn)行排序，得到相似排序列表，根據(jù)所述相似排序列表對用戶進(jìn)行推薦。

9.一種基于無監(jiān)督學(xué)習(xí)的推薦系統(tǒng)，其特征在于，包括：

第一訓(xùn)練模塊，用于獲取第一訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第一次輸入bert模型，得到第二訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第二次輸入bert模型，得到第三訓(xùn)練數(shù)據(jù)；

第二訓(xùn)練模塊，用于所述第二訓(xùn)練數(shù)據(jù)和所述第三訓(xùn)練數(shù)據(jù)構(gòu)成正樣本對和負(fù)樣本對，所述正樣本對和所述負(fù)樣本輸入loss函數(shù)，得到損失值。

判斷模塊，用于判斷損失值是否在預(yù)設(shè)閾值內(nèi)，若否，重復(fù)運(yùn)行獲取第一訓(xùn)練數(shù)據(jù)，所述第一訓(xùn)練數(shù)據(jù)第一次輸入bert模型以及之后的步驟；若是，得到精準(zhǔn)bert模型；

推薦模塊，獲取用戶數(shù)據(jù)，將處理后的所述用戶數(shù)據(jù)輸入精準(zhǔn)bert模型，計算所述用戶數(shù)據(jù)和待推薦數(shù)據(jù)的相似度分?jǐn)?shù)，根據(jù)所述相似度分?jǐn)?shù)對用戶進(jìn)行推薦。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)指令，所述計算機(jī)指令被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至8中任一項所述的基于無監(jiān)督學(xué)習(xí)的推薦方法的步驟。