[發明專利]用于人工智能訓練的大數據特征清洗決策方法及系統

有效

• 申請號: 202210572122.2
• 申請日: 2022-05-25
• 公開（公告）號: CN114756541B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 張耀榮
• 申請（專利權）人: 濟南銀華信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06N20/00
• 代理公司: 山東宇立知識產權代理有限公司 37349
• 代理人: 蔡巖巖

1.一種用于人工智能訓練的大數據特征清洗決策方法，其特征在于，應用于大數據服務系統，所述方法包括：

獲取大數據采集服務器的大數據采集運行程序的采集噪聲節點，所述大數據采集服務器的大數據采集運行程序的采集噪聲節點是依據存在錯誤數據采集活動的大數據采集路由數據生成的；

從預先配置的大數據特征清洗策略庫中提取所述采集噪聲節點關聯于所述大數據采集運行程序的當前人工智能訓練任務的第一大數據特征清洗策略序列，并基于所述第一大數據特征清洗策略序列中每個大數據特征清洗策略的噪聲清洗特征范圍對所述第一大數據特征清洗策略序列進行選擇，確定第二大數據特征清洗策略序列；

基于所述第二大數據特征清洗策略序列對所述大數據采集服務器進行大數據特征清洗決策；

所述獲取大數據采集服務器的大數據采集運行程序的采集噪聲節點，具體包括：

獲取存在錯誤數據采集活動的大數據采集路由數據，對所述大數據采集路由數據進行錯誤采集路由特征提取，確定目標錯誤采集路由特征，所述目標錯誤采集路由特征包括所述大數據采集路由數據對應的目標錯誤采集軌跡特征，所述大數據采集路由數據為所述大數據采集服務器的目標AI訓練階段的大數據采集記錄數據；

獲取所述大數據采集路由數據中的目標采集路由節點，確定所述目標采集路由節點對應的第一協同采集路由節點；

基于所述第一協同采集路由節點的協同采集覆蓋特征以及對應的協同采集指標信息，輸出所述目標采集路由節點對應的目標采集快照特征，其中，所述協同采集指標信息基于所述目標錯誤采集軌跡特征與協同采集覆蓋特征之間的采集活動關聯度得到，所述協同采集覆蓋特征為表示采集路由節點的協同采集路徑的特征；

將所述目標錯誤采集路由特征與所述目標采集路由節點對應的目標采集快照特征進行關聯性聚合，確定目標聚合特征，基于所述目標聚合特征確定所述大數據采集路由數據對應的錯誤采集決策信息；

獲取所述錯誤采集決策信息中一個或多個錯誤采集決策數據區中每個錯誤采集決策數據區的噪聲字段追溯數據，并獲取所述每個錯誤采集決策數據區的第一噪聲追溯類型，所述每個錯誤采集決策數據區的噪聲字段追溯數據為該錯誤采集決策數據區對應于所述錯誤采集決策信息的噪聲字段追溯數據，所述錯誤采集決策數據區的第一噪聲追溯類型表征所述錯誤采集決策數據區的噪聲字段屬性信息，所述錯誤采集決策數據區的噪聲字段屬性信息用于表征所述錯誤采集決策數據區的潛在噪聲字段；

基于所述每個錯誤采集決策數據區的第一噪聲追溯類型從所述一個或多個錯誤采集決策數據區中獲取對應的噪聲采集數據單元，并從所述一個或多個錯誤采集決策數據區的噪聲字段追溯數據獲取所述噪聲采集數據單元的噪聲字段追溯數據；

基于所述噪聲采集數據單元的噪聲字段追溯數據對所述錯誤采集決策信息中所述噪聲采集數據單元進行識別，以得到所述噪聲采集數據單元的采集噪聲節點。

2.根據權利要求1所述的用于人工智能訓練的大數據特征清洗決策方法，其特征在于，所述基于所述第一大數據特征清洗策略序列中每個大數據特征清洗策略的噪聲清洗特征范圍對所述第一大數據特征清洗策略序列進行選擇，確定第二大數據特征清洗策略序列，具體包括：

依據噪聲清洗特征范圍的先驗調整日志確定關鍵特征清洗策略；

對所述關鍵特征清洗策略進行特征清洗點分配，確定至少一個模糊特征清洗點；

基于所述模糊特征清洗點對所述第一大數據特征清洗策略序列進行選擇，確定所述第二大數據特征清洗策略序列。

3.根據權利要求2所述的用于人工智能訓練的大數據特征清洗決策方法，其特征在于，所述基于所述模糊特征清洗點對所述第一大數據特征清洗策略序列進行選擇，確定所述第二大數據特征清洗策略序列，具體包括：

基于所述模糊特征清洗點對所述第一大數據特征清洗策略序列進行選擇，確定多個第一模糊大數據特征清洗策略序列；

獲取特征清洗域相同的存在聯動關系的多個第一模糊大數據特征清洗策略序列，確定每個第二大數據特征清洗策略序列，所述每個第二大數據特征清洗策略序列的特征清洗種類基于特征清洗點圖譜進行變化；

獲取與所述第二大數據特征清洗策略序列的特征清洗域呈擴大態勢的第一模糊大數據特征清洗策略序列作為第三大數據特征清洗策略序列；所述第三大數據特征清洗策略序列被配置于協助決策目標特征清洗點。