[發(fā)明專利]一種基于多輪采樣的數(shù)據(jù)篩查規(guī)則驗證方法及其裝置

在審

• 申請?zhí)枺?/td>: 202210648307.7
• 申請日: 2022-06-09
• 公開（公告）號: CN115033616A
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計）人: 王堯舒;謝珉;樊文飛
• 申請（專利權(quán)）人: 深圳計算科學研究院
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/245;G06F16/28;G06F16/22
• 代理公司: 深圳市智勝聯(lián)合知識產(chǎn)權(quán)代理有限公司 44368
• 代理人: 王月

1.一種基于多輪采樣的數(shù)據(jù)篩查規(guī)則驗證方法，用于對大數(shù)據(jù)庫內(nèi)的目標數(shù)據(jù)進行數(shù)據(jù)篩查確定數(shù)據(jù)篩查規(guī)則，其特征在于，包括：

獲取所述目標數(shù)據(jù)，并依據(jù)所述目標數(shù)據(jù)確定對應(yīng)的數(shù)據(jù)關(guān)系表格，其中，所述數(shù)據(jù)關(guān)系表格中的每一行生成一元組，且至少包括一個元組；

依據(jù)所述元組構(gòu)建關(guān)系圖G，其中，所述關(guān)系圖G包括頂點集合V和邊集合E；

對所述頂點集合V中的頂點進行K次采樣生成K個采樣數(shù)據(jù)；

對K個所述采樣數(shù)據(jù)進行逐層搜索構(gòu)建整體同步并行計算模型，其中，所述整體同步并行計算模型包括一調(diào)度結(jié)點和若干個工作結(jié)點；

依據(jù)所述調(diào)度結(jié)點和若干個所述工作結(jié)點對K個所述采樣數(shù)據(jù)進行數(shù)據(jù)篩查生成目標數(shù)據(jù)篩查規(guī)則。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述元組構(gòu)建關(guān)系圖G，其中，所述關(guān)系圖G包括頂點集合V和邊集合E的步驟，包括：

依據(jù)所述元組生成若干個頂點；

若干個所述頂點之間相連生成若干條邊；

依據(jù)若干個所述頂點構(gòu)建和若干條所述邊構(gòu)建邊集合E；其中，當所述邊集合E中的一條邊e分別連接所述頂點集合v中的一頂點t和另一頂點s時，對應(yīng)于所述頂點t和所述頂點s構(gòu)建的元組對至少滿足一等式謂詞；

依據(jù)所述頂點集合V和所述邊集合E構(gòu)建所述關(guān)系圖G。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述頂點集合V中的頂點進行K次采樣生成K個采樣數(shù)據(jù)的步驟，包括：

對所述頂點集合V中的頂點進行K次隨機游走采樣生成K個采樣數(shù)據(jù)；或，

對所述頂點集合V中的頂點進行K次廣度優(yōu)先采樣生成K個采樣數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述頂點集合V中的頂點進行K次隨機游走采樣生成K個采樣數(shù)據(jù)的步驟，包括：

在所述頂點集合V內(nèi)通過均勻采樣獲取一初始頂點；

依據(jù)所述隨機游走采樣對所述初始頂點進行迭代采樣生成若干個采樣元組，其中，所述隨機游走采樣中的每一步以預設(shè)概率∈停止或移動至當前頂點的相鄰頂點，所述迭代采樣的迭代過程小于或等于預設(shè)樣本量；

依據(jù)若干個所述采樣元組生成所述K個采樣數(shù)據(jù)。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述頂點集合V中的頂點進行K次廣度優(yōu)先采樣生成K個采樣數(shù)據(jù)的步驟，包括：

在所述所述頂點集合V內(nèi)通過均勻采樣獲取一初始元組對，所述初始元組對包括頂點z和頂點y；

依據(jù)所述廣度優(yōu)先采樣對所述初始元組對進行迭代采樣生成若干個相鄰頂點，其中，所述相鄰頂點的目標距離小于或等于所述頂點z至所述頂點y之間的預設(shè)距離；

依據(jù)若干個所述相鄰頂點生成所述K個采樣數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述調(diào)度結(jié)點和若干個所述工作結(jié)點對K個所述采樣數(shù)據(jù)進行數(shù)據(jù)篩查生成目標數(shù)據(jù)篩查規(guī)則的步驟，包括：

所述調(diào)度結(jié)點將K個所述采樣數(shù)據(jù)對應(yīng)生成若干個任務(wù)，其中，若干個所述任務(wù)中的每一個任務(wù)為三元組，所述三元組內(nèi)包括被選擇謂詞集合、待選謂詞集合和有效謂詞；

依據(jù)所述調(diào)度結(jié)點將若干個所述任務(wù)平均分配至所述工作結(jié)點，其中，所述工作結(jié)點至少包括一個；當所述工作結(jié)點內(nèi)存在大于預設(shè)任務(wù)量的所述任務(wù)時，將所述工作結(jié)點中的一半任務(wù)量分配至其他工作結(jié)點；或，當所述工作結(jié)點內(nèi)僅存在所述預設(shè)任務(wù)量為1的所述任務(wù)時，則對所述任務(wù)對應(yīng)的數(shù)據(jù)進行拆分；

依據(jù)所述工作結(jié)點、所述調(diào)度結(jié)點和K個所述采樣數(shù)據(jù)生成所述目標數(shù)據(jù)篩查規(guī)則。