[發明專利]數據離散化模型訓練方法和裝置、數據離散方法

有效

• 申請號: 201810307364.2
• 申請日: 2018-04-08
• 公開（公告）號: CN108509627B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 徐挺洋;鄭胤;黃俊洲
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06N3/08
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

本申請涉及一種數據離散化模型訓練方法和裝置、數據離散方法、計算機設備和存儲介質，該訓練方法包括：獲取離散訓練數據和離散區間數；將離散訓練數據輸入編碼神經網絡，生成與離散區間數相同數量的高斯參數；基于高斯參數生成與離散訓練數據對應的隱層變量；將隱層變量輸入解碼神經網絡，得到還原數據；根據離散訓練數據和還原數據調整編碼神經網絡和解碼神經網絡的參數，并返回將離散訓練數據輸入編碼神經網絡，生成與離散區間數相同數量的高斯參數的步驟，直至滿足預設迭代結束條件；將編碼神經網絡最終生成的高斯參數作為各離散區間的特征。通過該方法獲得非連續的散區間，以實現數據非線性離散，避免大數據因線性離散而造成的數據丟失問題。

技術領域

本申請涉及數據挖掘技術領域，特別是涉及一種數據離散化模型訓練方法和裝置、數據離散方法、計算機設備和存儲介質。

背景技術

隨著信息技術的快速發展，海量數據信息不斷積累，從海量數據中挖掘有效信息的數據挖掘技術也得以不斷改進。而在數據挖掘算法中，其時空效率非常依賴于數據的類型，因此，對數據進行離散化處理，以將數據統一為分類類型數據，對快速實現數據的挖掘具有重要意義。

傳統的數據離散方法一般采用基于線性變換的方法，例如，根據連續值進行等差劃分，根據連續值的個數進行等頻劃分，又或者根據連續值的熵信息進行劃分等。而在大數據環境下中，隨著數據量和數據復雜度的持續增加，基于線性變換的離散方式極易造成數據中重要信息的丟失，進而影響數據挖掘的有效性。

發明內容

基于此，有必要針對基于線性變換的離散方式極易造成數據中重要信息的丟失的技術問題，提供一種數據離散化模型訓練方法和裝置、數據離散方法、計算機設備和存儲介質。

一種數據離散化模型訓練方法，所述方法包括：

獲取離散訓練數據和離散區間數；

將所述離散訓練數據輸入編碼神經網絡，生成與所述離散區間數相同數量的高斯參數；

基于所述高斯參數生成與所述離散訓練數據對應的隱層變量；

將所述隱層變量輸入解碼神經網絡，得到還原數據；

根據所述離散訓練數據和所述還原數據調整所述編碼神經網絡和所述解碼神經網絡的參數，并返回將所述離散訓練數據輸入編碼神經網絡，生成與所述離散區間數相同數量的高斯參數的步驟，直至滿足預設迭代結束條件；

將所述編碼神經網絡最終生成的高斯參數作為各離散區間的特征。

一種數據離散方法，所述方法包括：

獲取輸入數據；

將所述輸入數據輸入預先訓練好的數據離散化模型，得到與所述輸入數據對應的高斯參數，根據所述高斯參數生成所述輸入數據離散后的離散數據；所述數據離散化模型由任一項實施例所述的數據離散化模型訓練方法訓練得到。

一種數據離散化模型訓練裝置，所述裝置包括：

數據獲取模塊，用于獲取離散訓練數據和離散區間數；

高斯參數生成模塊，用于將所述離散訓練數據輸入編碼神經網絡，生成與所述離散區間數相同數量的高斯參數；

隱層變量生成模塊，用于基于所述高斯參數生成與所述離散訓練數據對應的隱層變量；

數據還原模塊，用于將所述隱層變量輸入解碼神經網絡，得到還原數據；

網絡參數調整模塊，用于根據所述離散訓練數據和所述還原數據調整所述編碼神經網絡和所述解碼神經網絡的參數，并返回將所述離散訓練數據輸入編碼神經網絡，生成與所述離散區間數相同數量的高斯參數的步驟，直至滿足預設迭代結束條件；

離散區間獲取模塊，用于將所述編碼神經網絡最終生成的高斯參數作為各離散區間的特征。