[發(fā)明專利]用于人工智能訓(xùn)練的大數(shù)據(jù)特征清洗決策方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210572122.2
• 申請(qǐng)日: 2022-05-25
• 公開（公告）號(hào): CN114756541B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計(jì)）人: 張耀榮
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南銀華信息技術(shù)有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06N20/00
• 代理公司: 山東宇立知識(shí)產(chǎn)權(quán)代理有限公司 37349
• 代理人: 蔡巖巖

本發(fā)明實(shí)施例提供一種用于人工智能訓(xùn)練的大數(shù)據(jù)特征清洗決策方法及系統(tǒng)，基于采集噪聲節(jié)點(diǎn)關(guān)聯(lián)于大數(shù)據(jù)采集運(yùn)行程序的當(dāng)前人工智能訓(xùn)練任務(wù)的第一大數(shù)據(jù)特征清洗策略序列，進(jìn)而基于第一大數(shù)據(jù)特征清洗策略序列中每個(gè)大數(shù)據(jù)特征清洗策略的噪聲清洗特征范圍為采集噪聲節(jié)點(diǎn)篩選多個(gè)第二大數(shù)據(jù)特征清洗策略序列，基于第二大數(shù)據(jù)特征清洗策略序列進(jìn)行大數(shù)據(jù)特征清洗決策，不僅考慮到了大數(shù)據(jù)采集運(yùn)行程序的當(dāng)前人工智能訓(xùn)練任務(wù)的大數(shù)據(jù)特征清洗策略特點(diǎn)，也考慮到了大數(shù)據(jù)特征清洗策略的噪聲清洗特征范圍，由此進(jìn)行大數(shù)據(jù)特征清洗決策時(shí)可以提高與大數(shù)據(jù)采集運(yùn)行程序的業(yè)務(wù)兼容性，由此提高大數(shù)據(jù)特征清洗效果。

技術(shù)領(lǐng)域

本公開涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體而言，涉及一種用于人工智能訓(xùn)練的大數(shù)據(jù)特征清洗決策方法及系統(tǒng)。

背景技術(shù)

在人工智能訓(xùn)練任務(wù)中，需要采集大量的樣本數(shù)據(jù)作為特征學(xué)習(xí)的支撐。因此，人工智能訓(xùn)練任務(wù)通常需要聯(lián)動(dòng)大數(shù)據(jù)采集任務(wù)，然而大數(shù)據(jù)采集任務(wù)的執(zhí)行過程中，所產(chǎn)生的大數(shù)據(jù)通常會(huì)存在諸多噪聲，從而會(huì)影響后續(xù)人工智能訓(xùn)練任務(wù)的可靠性，因此需要進(jìn)行采集噪聲節(jié)點(diǎn)的分析并進(jìn)行大數(shù)據(jù)特征清洗后，才能最終應(yīng)用于后續(xù)的人工智能訓(xùn)練任務(wù)。然而相關(guān)技術(shù)中，本申請(qǐng)發(fā)明人研究過程中發(fā)現(xiàn)，當(dāng)前大數(shù)據(jù)特征清洗決策時(shí)沒有考慮與大數(shù)據(jù)采集運(yùn)行程序的業(yè)務(wù)兼容性，進(jìn)而難以保證最佳的大數(shù)據(jù)特征清洗效果。

發(fā)明內(nèi)容

為了至少克服現(xiàn)有技術(shù)中的上述不足，本公開的目的在于提供一種用于人工智能訓(xùn)練的大數(shù)據(jù)特征清洗決策方法及系統(tǒng)。

第一方面，本公開提供一種用于人工智能訓(xùn)練的大數(shù)據(jù)特征清洗決策方法，應(yīng)用于大數(shù)據(jù)服務(wù)系統(tǒng)，所述大數(shù)據(jù)服務(wù)系統(tǒng)與所述多個(gè)大數(shù)據(jù)采集服務(wù)器通信連接，所述方法包括：

獲取依據(jù)存在錯(cuò)誤數(shù)據(jù)采集活動(dòng)的大數(shù)據(jù)采集路由數(shù)據(jù)生成的所述大數(shù)據(jù)采集服務(wù)器的大數(shù)據(jù)采集運(yùn)行程序的采集噪聲節(jié)點(diǎn)；

獲取所述采集噪聲節(jié)點(diǎn)關(guān)聯(lián)于所述大數(shù)據(jù)采集運(yùn)行程序的當(dāng)前人工智能訓(xùn)練任務(wù)的第一大數(shù)據(jù)特征清洗策略序列，并基于所述第一大數(shù)據(jù)特征清洗策略序列中每個(gè)大數(shù)據(jù)特征清洗策略的噪聲清洗特征范圍對(duì)所述第一大數(shù)據(jù)特征清洗策略序列進(jìn)行選擇，確定第二大數(shù)據(jù)特征清洗策略序列；

基于所述第二大數(shù)據(jù)特征清洗策略序列對(duì)所述大數(shù)據(jù)采集服務(wù)器進(jìn)行大數(shù)據(jù)特征清洗決策。

在第一方面的一種可能的實(shí)施方式中，所述獲取依據(jù)存在錯(cuò)誤數(shù)據(jù)采集活動(dòng)的大數(shù)據(jù)采集路由數(shù)據(jù)生成的所述大數(shù)據(jù)采集服務(wù)器的大數(shù)據(jù)采集運(yùn)行程序的采集噪聲節(jié)點(diǎn)，具體包括：

獲取存在錯(cuò)誤數(shù)據(jù)采集活動(dòng)的大數(shù)據(jù)采集路由數(shù)據(jù)，對(duì)所述大數(shù)據(jù)采集路由數(shù)據(jù)進(jìn)行錯(cuò)誤采集路由特征提取，確定目標(biāo)錯(cuò)誤采集路由特征，所述目標(biāo)錯(cuò)誤采集路由特征包括所述大數(shù)據(jù)采集路由數(shù)據(jù)對(duì)應(yīng)的目標(biāo)錯(cuò)誤采集軌跡特征，所述大數(shù)據(jù)采集路由數(shù)據(jù)為所述大數(shù)據(jù)采集服務(wù)器的目標(biāo)AI訓(xùn)練階段的大數(shù)據(jù)采集記錄數(shù)據(jù)；

獲取所述大數(shù)據(jù)采集路由數(shù)據(jù)中的目標(biāo)采集路由節(jié)點(diǎn)，確定所述目標(biāo)采集路由節(jié)點(diǎn)對(duì)應(yīng)的第一協(xié)同采集路由節(jié)點(diǎn)；

基于所述第一協(xié)同采集路由節(jié)點(diǎn)的協(xié)同采集覆蓋特征以及對(duì)應(yīng)的協(xié)同采集指標(biāo)信息，輸出所述目標(biāo)采集路由節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)采集快照特征，其中，所述協(xié)同采集指標(biāo)信息基于所述目標(biāo)錯(cuò)誤采集軌跡特征與協(xié)同采集覆蓋特征之間的采集活動(dòng)關(guān)聯(lián)度得到，所述協(xié)同采集覆蓋特征為表示采集路由節(jié)點(diǎn)的協(xié)同采集路徑的特征；

將所述目標(biāo)錯(cuò)誤采集路由特征與所述目標(biāo)采集路由節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)采集快照特征進(jìn)行關(guān)聯(lián)性聚合，確定目標(biāo)聚合特征，基于所述目標(biāo)聚合特征確定所述大數(shù)據(jù)采集路由數(shù)據(jù)對(duì)應(yīng)的錯(cuò)誤采集決策信息；