[發明專利]多數據來源的數據融合方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010004568.6
• 申請日: 2020-01-02
• 公開（公告）號: CN111191733B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 喻寧;陳克炎;朱艷喬
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及一種大數據技術，揭露了一種多數據來源的數據融合方法，包括：從客戶端中獲取原始待融合數據集、訓練特征集和訓練特征標簽集，對所述原始待融合數據集進行數據映射操作，得到標準待融合數據集，利用所述訓練特征集和所述訓練特征標簽集，訓練預構建的原始融合模型，得到標準融合模型，將所述標準待融合數據集輸入至所述標準融合模型進行融合操作得到融合數據，并將所述融合數據返回至所述客戶端中。本發明還提出一種多數據來源的數據融合裝置、電子設備以及一種計算機可讀存儲介質。本發明可以解決數據融合過程主觀性強、融合準確率低的問題。

技術領域

本發明涉及大數據技術領域，尤其涉及一種多數據來源的數據融合方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著大數據及人工智能的發展，數據來源越來越多且越來越復雜，對數據分析工作帶了巨大的挑戰，因此在數據分析工作開始之前，先對數據進行融合是必不可少的措施。目前對于數據融合的手段主要有經驗值方法和非監督方法，兩種方法都可以完成數據融合，但經驗值方法具有較大的主觀性，而非監督方法由于缺乏標簽數據的指導作用，容易導致融合后的數據精確性不高。

發明內容

本發明提供一種多數據來源的數據融合方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于解決數據融合過程主觀性強、融合準確率低的問題。

為實現上述目的，本發明提供的一種多數據來源的數據融合方法，包括：

從客戶端中獲取原始待融合數據集、訓練特征集和訓練特征標簽集，對所述原始待融合數據集進行數據映射操作，得到標準待融合數據集；

利用所述訓練特征集和所述訓練特征標簽集，訓練預構建的原始融合模型，得到標準融合模型；

將所述標準待融合數據集輸入至所述標準融合模型進行融合操作得到融合數據，并將所述融合數據返回至所述客戶端中。

可選地，所述利用所述訓練特征集和所述訓練特征標簽集，訓練預構建的原始融合模型，得到標準融合模型，包括：

初始化權重系數得到權重初始值，其中所述權重系數與所述訓練特征集具有相同特征維度；

根據所述權重初始值構建原始邏輯回歸模型；

構建求解所述原始邏輯回歸模型損失值的損失函數；

將所述訓練特征集作為所述損失函數的輸入值、將所述訓練特征標簽集作為所述損失函數的標簽值，最小化所述損失函數得到權重更新值；

將所述權重更新值替換所述原始邏輯回歸模型的權重初始值，得到所述標準融合模型。

可選地，所述損失函數包括：

其中，J(θ)表示所述損失函數，k表示所述訓練特征集的數量，y_is表示使用所述原始邏輯回歸模型預測第s個訓練特征對應的預測融合數據，y_js表示第s個訓練特征所對應的訓練特征標簽，θ表示所述權重系數。

可選地，所述數據映射操作包括：

采用下述計算方法進行數據歸一化操作：

其中，x^*為所述標準待融合數據集內的數據，min為所述原始待融合數據集的最小值，max為所述原始待融合數據集的最大值，x為所述原始待融合數據集內的數據。

可選地，所述還方法包括：

當所述融合數據返回至所述客戶端成功時，在所述客戶端內將所述融合數據與所述原始待融合數據集建立一對一對應關系；

根據所述一對一對應關系存儲所述融合數據與所述原始待融合數據集。