[發明專利]一種處理多類型數據的方法及系統

在審

• 申請號: 202011294673.4
• 申請日: 2020-11-18
• 公開（公告）號: CN112328844A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 佘璇;段少毅
• 申請（專利權）人: 恩億科（北京）數據科技有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/906;G06K9/62
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

1.一種處理多類型數據的方法，其特征在于，所述方法包括如下步驟：

數據獲取步驟：對數據進行預處理，獲取訓練數據；

模型改進步驟：基于DeepFM模型進行改進，獲取多類型數據處理模型；

模型訓練步驟：將所述訓練數據輸入到所述多類型數據處理模型進行模型訓練，獲取最優的所述多類型數據處理模型；

處理步驟：通過最優的所述多類型數據處理模型對數據進行處理。

2.如權利要求1所述的一種處理多類型數據的方法，其特征在于，所述模型訓練步驟具體包括以下步驟:

特征提取步驟：提取所述訓練數據的稀疏特征；

特征嵌入步驟：根據所述稀疏特征的維度將其自動嵌入到相適應維度向量，獲取所述稀疏特征的特征嵌入向量；

特征表示步驟：根據所述特征嵌入向量分別獲取低階特征表示和高階特征表示；

低階特征獲取步驟：根據所述低階特征表示獲取低階特征組合；

高階特征獲取步驟：根據所述高階特征表示獲取高階特征組合；

特征合并步驟：將所述低階特征組合和所述高階特征組合合并輸入到sigmoid函數得到最優的所述多類型數據處理模型。

3.如權利要求2所述的一種處理多類型數據的方法，其特征在于，所述特征表示步驟具體包括以下步驟：

高階特征表示步驟：對所述特征嵌入向量做非線性變換，獲取所述高階特征表示；

低階特征表示步驟：將所述特征嵌入向量轉換為相同維度，對所述轉換后的特征嵌入向量做非線性變換，獲取所述低階特征表示。

4.如權利要求2所述的一種處理多類型數據的方法，其特征在于，當所述訓練數據類型為數組類型時，所述特征嵌入步驟還包括引入注意力機制，通過所述注意力機制獲取整個數組特征的特征嵌入向量。

5.如權利要求4所述的一種處理多類型數據的方法，其特征在于，所述注意力機制中注意力打分函數使用縮放點擊模型。

6.一種處理多類型數據的系統，運行如權利要求1至5中任一項所述的處理多類型數據的方法，其特征在于，

所述處理多類型數據的系統包括：

數據獲取模塊，對數據進行預處理，獲取訓練數據；

模型改進模塊，基于DeepFM模型進行改進，獲取多類型數據處理模型；

模型訓練模塊，將所述訓練數據輸入到所述多類型數據處理模型進行模型訓練，獲取最優的所述多類型數據處理模型；

處理模塊，通過最優的所述多類型數據處理模型對數據進行處理。

7.如權利要求6所述的處理多類型數據的系統，其特征在于，所述模型訓練模塊包括：

特征提取單元，提取所述訓練數據的稀疏特征；

半自適應維度Embedding單元，根據所述稀疏特征的維度將其自動嵌入到相適應維度向量，獲取所述稀疏特征的特征嵌入向量；

MLP層單元，根據所述特征嵌入向量分別獲取低階特征表示和高階特征表示；

FM層單元，根據所述低階特征表示獲取低階特征組合；

Deep單元，根據所述高階特征表示獲取高階特征組合；

輸出單元，將所述低階特征組合和所述高階特征組合合并輸入到sigmoid函數得到最優的所述多類型數據處理模型。

8.如權利要求7所述的處理多類型數據的系統，其特征在于，所述MLP層單元包括：

高階特征表示單元，對所述特征嵌入向量做非線性變換，獲取所述高階特征表示；

低階特征表示單元，將所述特征嵌入向量轉換為相同維度，對所述轉換后的特征嵌入向量做非線性變換，獲取所述低階特征表示。

9.如權利要求7所述的處理多類型數據的系統，其特征在于，當所述訓練數據類型為數組類型時，所述半自適應維度Embedding單元中還包括注意力機制單元，通過所述注意力機制單元獲取整個數組特征的特征嵌入向量。

10.如權利要求9所述的處理多類型數據的系統，其特征在于，所述注意力機制單元中注意力打分函數使用縮放點擊模型。