[發(fā)明專利]數(shù)據(jù)處理方法和裝置

在審

• 申請?zhí)枺?/td>: 202010139561.5
• 申請日: 2020-03-03
• 公開（公告）號: CN113342969A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 劉婷婷;黃明星;賴晨東;黃建杰;李銀鋒;周彬
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N20/00;G06Q30/06
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;郭晗

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取數(shù)據(jù)源，對所述數(shù)據(jù)源進行清洗和處理，以篩選出用于模型訓(xùn)練的相關(guān)特征；

對所述相關(guān)特征進行向量化，合并所有向量化的特征而作為特征向量化結(jié)果；

將所述特征向量化結(jié)果劃分為訓(xùn)練數(shù)據(jù)集和評估數(shù)據(jù)集，基于所述訓(xùn)練數(shù)據(jù)集中的特征向量化結(jié)果和數(shù)據(jù)標(biāo)簽，訓(xùn)練深度因子機分解模型；

對深度因子機分解模型的參數(shù)進行調(diào)優(yōu)，以獲取參數(shù)調(diào)優(yōu)模型；以及

利用所述參數(shù)調(diào)優(yōu)模型，進行數(shù)據(jù)處理。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，

所述對所述相關(guān)特征進行向量化具體包括：針對所述相關(guān)特征中的文本特征，通過訓(xùn)練word2vec模型，進行特征嵌入向量化。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，

所述對深度因子機分解模型的參數(shù)進行調(diào)優(yōu)具體包括：利用所述評估數(shù)據(jù)集和所述深度因子機分解模型來評估模型效能以進行調(diào)優(yōu)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，

所述訓(xùn)練所述深度因子機分解模型具體包括：將所述訓(xùn)練數(shù)據(jù)集的特征向量化結(jié)果輸入到深度因子機分解模型，結(jié)合訓(xùn)練數(shù)據(jù)真實標(biāo)簽(y)和模型預(yù)測標(biāo)簽通過下式算出交叉熵損失函數(shù)(L)，通過反向傳播算法使得損失函數(shù)最小化，訓(xùn)練獲取深度因子機分解模型中相關(guān)參數(shù)，

其中，yi為第i個樣本的真實訓(xùn)練數(shù)據(jù)標(biāo)簽，為第i個樣本的模型預(yù)測標(biāo)簽，i＝1,2,…,n，n為訓(xùn)練樣本數(shù)目，L為模型整體損失函數(shù)；即所有樣本損失函數(shù)加和。

5.一種數(shù)據(jù)處理裝置，其特征在于，包括：

特征篩選模塊，獲取數(shù)據(jù)源，對所述數(shù)據(jù)源進行清洗和處理，以篩選出用于模型訓(xùn)練的相關(guān)特征；

特征向量化模塊，對所述相關(guān)特征進行向量化，合并所有向量化的特征而作為特征向量化結(jié)果；

模型訓(xùn)練模塊，將所述特征向量化結(jié)果劃分為訓(xùn)練數(shù)據(jù)集和評估數(shù)據(jù)集，基于所述訓(xùn)練數(shù)據(jù)集中的特征向量化結(jié)果和數(shù)據(jù)標(biāo)簽，訓(xùn)練深度因子機分解模型；

參數(shù)調(diào)優(yōu)模塊，對深度因子機分解模型的參數(shù)進行調(diào)優(yōu)，以獲取參數(shù)調(diào)優(yōu)模型；以及

模型應(yīng)用模塊，利用所述參數(shù)調(diào)優(yōu)模型，進行數(shù)據(jù)處理。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理裝置，其特征在于，

所述對所述相關(guān)特征進行向量化具體包括：所述特征向量化模塊針對所述相關(guān)特征中的文本特征，通過訓(xùn)練word2vec模型，進行特征嵌入向量化。

7.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理裝置，其特征在于，

所述對深度因子機分解模型的參數(shù)進行調(diào)優(yōu)具體包括：所述參數(shù)調(diào)優(yōu)模塊利用所述評估數(shù)據(jù)集和所述深度因子機分解模型來評估模型效能以進行調(diào)優(yōu)。

8.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理裝置，其特征在于，

所述訓(xùn)練所述深度因子機分解模型具體包括：將所述訓(xùn)練數(shù)據(jù)集的特征向量化結(jié)果輸入到深度因子機分解模型，結(jié)合訓(xùn)練數(shù)據(jù)真實標(biāo)簽(y)和模型預(yù)測標(biāo)簽通過下式算出交叉熵損失函數(shù)(L)，通過反向傳播算法使得損失函數(shù)最小化，訓(xùn)練獲取深度因子機分解模型中相關(guān)參數(shù)，

其中，yi為第i個樣本的真實訓(xùn)練數(shù)據(jù)標(biāo)簽，為第i個樣本的模型預(yù)測標(biāo)簽，i＝1,2,…,n，n為訓(xùn)練樣本數(shù)目，L為模型整體損失函數(shù)；即所有樣本損失函數(shù)加和。

9.一種電子設(shè)備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權(quán)利要求1-4中任一所述的方法。

10.一種計算機可讀介質(zhì)，其上存儲有計算機程序，其特征在于，所述程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-4中任一所述的方法。