[發明專利]數據預處理方法，裝置，存儲介質及電子設備

在審

• 申請號: 201811244371.9
• 申請日: 2018-10-24
• 公開（公告）號: CN109491651A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 唐亮;謝新強
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F16/25
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曾堯;魏嘉熹

本公開涉及一種數據預處理方法，裝置，存儲介質及電子設備。該方法包括：獲取用戶通過圖形用戶界面GUI設置的預處理邏輯配置項；根據所述配置項配置對數據進行預處理的邏輯規則；在獲取到待處理的數據后，針對該待處理的數據調用規則邏輯引擎執行已配置的邏輯規則，得到數據預處理結果。

技術領域

本公開涉及數據預處理領域，具體地，涉及一種數據預處理方法，裝置，存儲介質及電子設備。

背景技術

在大數據背景下，軟件處理的數據由傳統的數據庫數據擴展到了日志數據、機器數據、傳感器數據等，與傳統的數據庫數據相比，其他數據具有結構不良好，價值密度低以及關聯更加復雜等特點。因此在大數據分析前進行數據預處理是十分必要的，預處理能夠將非結構化數據向結構化數據轉換，便后續處理，并從海量數據中提取有價值信息，以及實現非關系形數據的數據關聯。

相關數據預處理技術中，通常是有針對性的編寫處理程序，技術門檻高，要求具備一定技術能力與經驗的軟件工程師來完成，并且，編寫的預處理程序多是一次性使用，不具有推廣復用的能力。另外，相關技術也可以使用基于批處理作業配置的軟件，相比較于專業編程，使用門檻得到了降低，但是仍然需要學習專業性配置的方法。

發明內容

本公開的主要目的是提供一種數據預處理方法，裝置，存儲介質及電子設備，用以解決現有數據預處理邏輯規則的配置專業性要求較高，配置過程復雜的技術問題。

為了實現上述目的，本公開實施例第一方面提供一種數據預處理方法，所述方法包括：

獲取用戶通過圖形用戶界面GUI設置的預處理邏輯配置項；

根據所述配置項配置對數據進行預處理的邏輯規則；

在獲取到待處理的數據后，針對該待處理的數據調用規則邏輯引擎執行已配置的邏輯規則，得到數據預處理結果。

可選地，所述獲取用戶通過圖形用戶界面GUI設置的預處理邏輯配置項，包括：

在所述GUI上呈現歷史存儲的預處理邏輯配置項，其中，所述歷史存儲的預處理邏輯配置項是所述用戶上一次設置的配置項或者是其他用戶設置的配置項；

通過用戶的GUI設置，對所述歷史存儲的預處理邏輯配置項進行變更；

所述根據所述配置項配置對數據進行預處理的邏輯規則，包括：

根據已變更的所述配置項配置對數據進行預處理的邏輯規則。

可選地，在所述根據所述配置項配置對數據進行預處理的邏輯規則之后，所述方法還包括：

對已配置的邏輯規則進行校驗；

在對所述已配置的邏輯規則校驗成功時，調用規則邏輯引擎以管道的形式執行所述已配置的邏輯規則，并返回執行結果供用戶預覽。

可選地，所述GUI提供以下設置中的一者或多者用于用戶選擇配置項：

用于結構化解析操作的一般設置，用于劃分數據處理分支事件的分支設置，用于針對每一分支事件進行后續處理的后置設置。

本公開實施例第二方面提供一種數據預處理裝置，包括：

獲取模塊，用于獲取用戶通過圖形用戶界面GUI設置的預處理邏輯配置項；

配置模塊，用于根據所述配置項配置對數據進行預處理的邏輯規則；

預處理模塊，用于在獲取到待處理的數據后，針對該待處理的數據調用規則邏輯引擎執行已配置的邏輯規則，得到數據預處理結果。

可選地，所述獲取模塊包括：