[發(fā)明專利]基于機(jī)器學(xué)習(xí)的數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 202010598472.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111782727B
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 王華
• 申請（專利權(quán)）人: 深圳平安醫(yī)療健康科技服務(wù)有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F16/23;G06F16/21;G06N20/00
• 代理公司: 北京中強(qiáng)智尚知識產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

1.一種基于機(jī)器學(xué)習(xí)的數(shù)據(jù)處理方法，其特征在于，包括：

從區(qū)塊鏈網(wǎng)絡(luò)的不同區(qū)塊節(jié)點(diǎn)中獲取待進(jìn)行分組處理的目標(biāo)數(shù)據(jù)；

基于所述目標(biāo)數(shù)據(jù)攜帶的數(shù)據(jù)字段標(biāo)識，以及預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識對所述目標(biāo)數(shù)據(jù)信息分類篩選；

提取分類篩選后未與所述預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識匹配的異常目標(biāo)數(shù)據(jù)，并依據(jù)所述異常目標(biāo)數(shù)據(jù)中的數(shù)據(jù)格式特征進(jìn)行格式轉(zhuǎn)換處理；

若基于格式轉(zhuǎn)換處理的所述異常目標(biāo)數(shù)據(jù)的數(shù)據(jù)字段標(biāo)識再次進(jìn)行分類篩選后，未與所述預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識匹配，則基于未匹配的所述異常目標(biāo)數(shù)據(jù)中的基礎(chǔ)數(shù)據(jù)生成異常目標(biāo)數(shù)據(jù)數(shù)組進(jìn)行保存；

其中，所述依據(jù)所述異常目標(biāo)數(shù)據(jù)中的數(shù)據(jù)格式特征進(jìn)行格式轉(zhuǎn)換處理之前，所述方法還包括：

配置用于格式轉(zhuǎn)換的格式轉(zhuǎn)換對象與數(shù)據(jù)格式特征匹配的格式轉(zhuǎn)換映射關(guān)系，其中，所述格式轉(zhuǎn)換對象包括格式轉(zhuǎn)換函數(shù)、格式轉(zhuǎn)換模型；

獲取所述格式轉(zhuǎn)換對象的數(shù)據(jù)訓(xùn)練集，其中，所述數(shù)據(jù)訓(xùn)練集包含有與所述預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識匹配的正常目標(biāo)數(shù)據(jù)；

基于所述數(shù)據(jù)訓(xùn)練集中的正常目標(biāo)數(shù)據(jù)對所述格式轉(zhuǎn)換對象的轉(zhuǎn)換參數(shù)進(jìn)行迭代調(diào)整，完成所述格式轉(zhuǎn)換對象的配置；

所述依據(jù)所述異常目標(biāo)數(shù)據(jù)中的數(shù)據(jù)格式特征進(jìn)行格式轉(zhuǎn)換處理包括：

依據(jù)所述格式轉(zhuǎn)換映射關(guān)系，提取與所述異常目標(biāo)數(shù)據(jù)中的數(shù)據(jù)格式特征匹配的格式轉(zhuǎn)換對象；

基于所述格式轉(zhuǎn)換對象對所述異常目標(biāo)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標(biāo)數(shù)據(jù)攜帶的數(shù)據(jù)字段標(biāo)識，以及預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識對所述目標(biāo)數(shù)據(jù)信息分類篩選包括：

解析所述數(shù)據(jù)字段標(biāo)識對應(yīng)的字段屬性，所述字段屬性包括日期、年齡、性別、流量數(shù)據(jù)；

按照所述字段屬性確定所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型、數(shù)據(jù)長度；

按照預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識中已完成分類的數(shù)據(jù)類型、數(shù)據(jù)長度，對所述目標(biāo)數(shù)據(jù)進(jìn)行分類篩選，得到與所述預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識匹配的正常目標(biāo)數(shù)據(jù)、以及與所述預(yù)設(shè)的數(shù)據(jù)字段分類標(biāo)識不匹配的異常目標(biāo)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于未匹配的所述異常目標(biāo)數(shù)據(jù)中的基礎(chǔ)數(shù)據(jù)生成異常目標(biāo)數(shù)據(jù)數(shù)組進(jìn)行保存包括：

獲取標(biāo)準(zhǔn)分組器中待進(jìn)行分組處理的分組類型；

按照所述分組類型對所述異常目標(biāo)數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)進(jìn)行標(biāo)記分類；

基于不同標(biāo)記的基礎(chǔ)數(shù)據(jù)生成異常目標(biāo)數(shù)據(jù)數(shù)組，與所述正常目標(biāo)數(shù)據(jù)進(jìn)行匹配存儲。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于未匹配的所述異常目標(biāo)數(shù)據(jù)中的基礎(chǔ)數(shù)據(jù)生成異常目標(biāo)數(shù)據(jù)數(shù)組，進(jìn)行保存之后，所述方法還包括：

按照預(yù)設(shè)時(shí)間間隔統(tǒng)計(jì)異常目標(biāo)數(shù)據(jù)數(shù)組中依據(jù)基礎(chǔ)數(shù)據(jù)進(jìn)行標(biāo)記分類的標(biāo)記個(gè)數(shù)；

若所述標(biāo)記個(gè)數(shù)大于預(yù)設(shè)更新標(biāo)記個(gè)數(shù)，則加載格式轉(zhuǎn)換配置文件，以基于所述格式轉(zhuǎn)換配置文件中更新的格式轉(zhuǎn)換對象對異常目標(biāo)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于未匹配的所述異常目標(biāo)數(shù)據(jù)中的基礎(chǔ)數(shù)據(jù)生成異常目標(biāo)數(shù)據(jù)數(shù)組，進(jìn)行保存之后，所述方法還包括：

若接收到格式轉(zhuǎn)換處理執(zhí)行切換指令時(shí)，記錄對所述異常目標(biāo)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理操作的轉(zhuǎn)換步驟信息；

依據(jù)所述轉(zhuǎn)換步驟信息從格式轉(zhuǎn)換對象預(yù)備集中選取格式轉(zhuǎn)換對象；

基于所述轉(zhuǎn)換步驟信息對選取的格式轉(zhuǎn)換對象的轉(zhuǎn)換參數(shù)進(jìn)行迭代調(diào)整；

將調(diào)整后的格式轉(zhuǎn)換對象結(jié)合數(shù)據(jù)格式特征更新至格式轉(zhuǎn)換映射關(guān)系中。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于未匹配的所述異常目標(biāo)數(shù)據(jù)中的基礎(chǔ)數(shù)據(jù)生成異常目標(biāo)數(shù)據(jù)數(shù)組，進(jìn)行保存之后，所述方法還包括：

將完成格式轉(zhuǎn)換處理的目標(biāo)數(shù)據(jù)輸送至標(biāo)準(zhǔn)分組器中，以使所述標(biāo)準(zhǔn)分組器進(jìn)行流量分組；

將分組后的目標(biāo)數(shù)據(jù)以及所述異常目標(biāo)數(shù)據(jù)數(shù)組綁定進(jìn)行反饋，以指示對分組后的目標(biāo)數(shù)據(jù)以及綁定的所述異常目標(biāo)數(shù)據(jù)進(jìn)行處理。