[發明專利]基于機器學習的數據處理方法及裝置

有效

• 申請號: 202010598472.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111782727B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 王華
• 申請（專利權）人: 深圳平安醫療健康科技服務有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F16/23;G06F16/21;G06N20/00
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種基于機器學習的數據處理方法，其特征在于，包括：

從區塊鏈網絡的不同區塊節點中獲取待進行分組處理的目標數據；

基于所述目標數據攜帶的數據字段標識，以及預設的數據字段分類標識對所述目標數據信息分類篩選；

提取分類篩選后未與所述預設的數據字段分類標識匹配的異常目標數據，并依據所述異常目標數據中的數據格式特征進行格式轉換處理；

若基于格式轉換處理的所述異常目標數據的數據字段標識再次進行分類篩選后，未與所述預設的數據字段分類標識匹配，則基于未匹配的所述異常目標數據中的基礎數據生成異常目標數據數組進行保存；

其中，所述依據所述異常目標數據中的數據格式特征進行格式轉換處理之前，所述方法還包括：

配置用于格式轉換的格式轉換對象與數據格式特征匹配的格式轉換映射關系，其中，所述格式轉換對象包括格式轉換函數、格式轉換模型；

獲取所述格式轉換對象的數據訓練集，其中，所述數據訓練集包含有與所述預設的數據字段分類標識匹配的正常目標數據；

基于所述數據訓練集中的正常目標數據對所述格式轉換對象的轉換參數進行迭代調整，完成所述格式轉換對象的配置；

所述依據所述異常目標數據中的數據格式特征進行格式轉換處理包括：

依據所述格式轉換映射關系，提取與所述異常目標數據中的數據格式特征匹配的格式轉換對象；

基于所述格式轉換對象對所述異常目標數據進行格式轉換處理。

2.根據權利要求1所述的方法，其特征在于，所述基于所述目標數據攜帶的數據字段標識，以及預設的數據字段分類標識對所述目標數據信息分類篩選包括：

解析所述數據字段標識對應的字段屬性，所述字段屬性包括日期、年齡、性別、流量數據；

按照所述字段屬性確定所述目標數據的數據類型、數據長度；

按照預設的數據字段分類標識中已完成分類的數據類型、數據長度，對所述目標數據進行分類篩選，得到與所述預設的數據字段分類標識匹配的正常目標數據、以及與所述預設的數據字段分類標識不匹配的異常目標數據。

3.根據權利要求1所述的方法，其特征在于，所述基于未匹配的所述異常目標數據中的基礎數據生成異常目標數據數組進行保存包括：

獲取標準分組器中待進行分組處理的分組類型；

按照所述分組類型對所述異常目標數據的基礎數據進行標記分類；

基于不同標記的基礎數據生成異常目標數據數組，與所述正常目標數據進行匹配存儲。

4.根據權利要求3所述的方法，其特征在于，所述基于未匹配的所述異常目標數據中的基礎數據生成異常目標數據數組，進行保存之后，所述方法還包括：

按照預設時間間隔統計異常目標數據數組中依據基礎數據進行標記分類的標記個數；

若所述標記個數大于預設更新標記個數，則加載格式轉換配置文件，以基于所述格式轉換配置文件中更新的格式轉換對象對異常目標數據進行格式轉換處理。

5.根據權利要求1所述的方法，其特征在于，所述基于未匹配的所述異常目標數據中的基礎數據生成異常目標數據數組，進行保存之后，所述方法還包括：

若接收到格式轉換處理執行切換指令時，記錄對所述異常目標數據進行格式轉換處理操作的轉換步驟信息；

依據所述轉換步驟信息從格式轉換對象預備集中選取格式轉換對象；

基于所述轉換步驟信息對選取的格式轉換對象的轉換參數進行迭代調整；

將調整后的格式轉換對象結合數據格式特征更新至格式轉換映射關系中。

6.根據權利要求1所述的方法，其特征在于，所述基于未匹配的所述異常目標數據中的基礎數據生成異常目標數據數組，進行保存之后，所述方法還包括：

將完成格式轉換處理的目標數據輸送至標準分組器中，以使所述標準分組器進行流量分組；

將分組后的目標數據以及所述異常目標數據數組綁定進行反饋，以指示對分組后的目標數據以及綁定的所述異常目標數據進行處理。