[發(fā)明專利]一種數(shù)據(jù)質(zhì)量檢測的抽樣方法、系統(tǒng)及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010197296.6
• 申請日: 2020-03-19
• 公開（公告）號: CN111427875B
• 公開（公告）日: 2023-09-12
• 發(fā)明（設(shè)計）人: 趙淦森;趙淑嫻;列海權(quán);徐崗;紀(jì)求華;陳冰川;莊序填;蔡斯凱;林成創(chuàng);鄧水鳳
• 申請（專利權(quán)）人: 廣東蔚海數(shù)問大數(shù)據(jù)科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 何文聰

1.一種數(shù)據(jù)質(zhì)量檢測的抽樣方法，其特征在于，包括以下步驟：

獲取原始數(shù)據(jù)并生成資源數(shù)據(jù)集；

獲取抽樣配置信息，根據(jù)所述抽樣配置信息設(shè)置樣本容量和循環(huán)次數(shù)上限；

根據(jù)所述樣本容量和循環(huán)次數(shù)上限從所述資源數(shù)據(jù)集中抽取數(shù)據(jù)；

將抽取的數(shù)據(jù)匯總形成樣本集；

所述抽樣配置信息包括抽樣密度、樣本容量最大值和時間范圍；

所述根據(jù)所述抽樣配置信息設(shè)置樣本容量這一步驟，其具體包括：

根據(jù)所述資源數(shù)據(jù)集的容量與抽樣密度得到臨時變量；

當(dāng)所述臨時變量大于所述樣本容量，保持原樣本容量不變；

當(dāng)所述臨時變量不大于所述樣本容量，將所述臨時變量設(shè)置為新的樣本容量；

所述根據(jù)所述資源數(shù)據(jù)集的容量與抽樣密度得到臨時變量，具體為：計算所述資源數(shù)據(jù)集的容量與抽樣密度的乘積作為臨時變量；

所述根據(jù)所述樣本容量和循環(huán)次數(shù)上限從所述資源數(shù)據(jù)集中抽取數(shù)據(jù)，具體為當(dāng)所述樣本集的長度小于預(yù)設(shè)樣本容量，繼續(xù)從所述資源數(shù)據(jù)集中順序讀取數(shù)據(jù)生成樣本集；當(dāng)所述樣本集的長度不小于預(yù)設(shè)樣本容量，從所述樣本集中隨機(jī)移除所述樣本集的長度與預(yù)設(shè)樣本容量之差個數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)質(zhì)量檢測的抽樣方法，其特征在于，所述獲取原始數(shù)據(jù)并生成資源數(shù)據(jù)集這一步驟，其具體包括：

匯總所述原始數(shù)據(jù)；

根據(jù)所述時間范圍從匯總后的原始數(shù)據(jù)中篩選得到資源數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的一種數(shù)據(jù)質(zhì)量檢測的抽樣方法，其特征在于，所述獲取原始數(shù)據(jù)并生成資源數(shù)據(jù)集這一步驟，還包括：

對所述原始數(shù)據(jù)進(jìn)行去噪和差值填補(bǔ)；

將完成去噪和差值填補(bǔ)的原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

4.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)質(zhì)量檢測的抽樣方法，其特征在于，所述根據(jù)所述樣本容量和循環(huán)次數(shù)上限從所述資源數(shù)據(jù)集中抽取數(shù)據(jù)這一步驟，還包括：

當(dāng)抽樣的當(dāng)前循環(huán)次數(shù)小于所述循環(huán)次數(shù)上限，繼續(xù)從所述資源數(shù)據(jù)集中順序讀取數(shù)據(jù)生成樣本集；

當(dāng)抽樣的當(dāng)前循環(huán)次數(shù)不小于所述循環(huán)次數(shù)上限，結(jié)束抽樣。

5.根據(jù)權(quán)利要求1-4任一項所述一種數(shù)據(jù)質(zhì)量檢測的抽樣方法，其特征在于，所述資源數(shù)據(jù)集的數(shù)目至少為1。

6.一種數(shù)據(jù)質(zhì)量檢測的抽樣系統(tǒng)，其特征在于，包括：

數(shù)據(jù)獲取單元，用于獲取原始數(shù)據(jù)并生成資源數(shù)據(jù)集；

參數(shù)配置單元，用于獲取抽樣配置信息，根據(jù)所述抽樣配置信息設(shè)置樣本容量和循環(huán)次數(shù)上限；所述根據(jù)所述抽樣配置信息設(shè)置樣本容量這一步驟，其具體包括：

根據(jù)所述資源數(shù)據(jù)集的容量與抽樣密度得到臨時變量；

當(dāng)所述臨時變量大于所述樣本容量，保持原樣本容量不變；

當(dāng)所述臨時變量不大于所述樣本容量，將所述臨時變量設(shè)置為新的樣本容量；

所述根據(jù)所述資源數(shù)據(jù)集的容量與抽樣密度得到臨時變量，具體為：計算所述資源數(shù)據(jù)集的容量與抽樣密度的乘積作為臨時變量；

循環(huán)抽樣單元，用于根據(jù)所述樣本容量和循環(huán)次數(shù)上限從所述資源數(shù)據(jù)集中抽取數(shù)據(jù)，并將抽取的數(shù)據(jù)匯總形成樣本集；所述根據(jù)所述樣本容量和循環(huán)次數(shù)上限從所述資源數(shù)據(jù)集中抽取數(shù)據(jù)，具體為當(dāng)所述樣本集的長度小于預(yù)設(shè)樣本容量，繼續(xù)從所述資源數(shù)據(jù)集中順序讀取數(shù)據(jù)生成樣本集；當(dāng)所述樣本集的長度不小于預(yù)設(shè)樣本容量，從所述樣本集中隨機(jī)移除所述樣本集的長度與預(yù)設(shè)樣本容量之差個數(shù)據(jù)。

7.一種數(shù)據(jù)質(zhì)量檢測的抽樣系統(tǒng)，其特征在于，包括：

至少一個處理器；

至少一個存儲器，用于存儲至少一個程序；

當(dāng)所述至少一個程序被所述至少一個處理器執(zhí)行，使得所述至少一個處理器實現(xiàn)如權(quán)利要求1-5中任一項所述的一種數(shù)據(jù)質(zhì)量檢測的抽樣方法。

8.一種存儲介質(zhì)，其中存儲有處理器可執(zhí)行的指令，其特征在于：所述處理器可執(zhí)行的指令在由處理器執(zhí)行時用于實現(xiàn)如權(quán)利要求1-5中任一項所述的一種數(shù)據(jù)質(zhì)量檢測的抽樣方法。