[發(fā)明專利]用于對實時數(shù)據(jù)流和數(shù)據(jù)集進(jìn)行數(shù)據(jù)運算的方法和裝置

在審

• 申請?zhí)枺?/td>: 202010896403.4
• 申請日: 2020-08-31
• 公開（公告）號: CN113760973A
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計）人: 朱時濤;申作軍;郭旭波
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東尚科信息技術(shù)有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于對實時數(shù)據(jù)流和數(shù)據(jù)集進(jìn)行數(shù)據(jù)運算的方法，所述方法包括：

響應(yīng)于接收到運算請求，分別獲取所述運算請求對應(yīng)的待分析數(shù)據(jù)集和所述運算請求對應(yīng)的實時數(shù)據(jù)流；

對所述待分析數(shù)據(jù)集和所述實時數(shù)據(jù)流進(jìn)行分區(qū)，生成所述待分析數(shù)據(jù)集對應(yīng)的各個子數(shù)據(jù)集和所述實時數(shù)據(jù)流對應(yīng)的各個子數(shù)據(jù)流，其中，所述各個子數(shù)據(jù)集和所述各個子數(shù)據(jù)流基于相同的分區(qū)方法而一一對應(yīng)；

將每個子數(shù)據(jù)集和與該子數(shù)據(jù)集相對應(yīng)的子數(shù)據(jù)流加載至所述分區(qū)子線程對應(yīng)的每個任務(wù)節(jié)點；響應(yīng)于每個任務(wù)節(jié)點已加載完成，對該任務(wù)節(jié)點中的子數(shù)據(jù)流和子數(shù)據(jù)集執(zhí)行預(yù)設(shè)的運算操作，生成該任務(wù)節(jié)點的運算結(jié)果；

根據(jù)任務(wù)節(jié)點的數(shù)量和每個任務(wù)節(jié)點的所述運算結(jié)果，確定所述運算請求對應(yīng)的最終運算結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對所述待分析數(shù)據(jù)集和所述實時數(shù)據(jù)流進(jìn)行分區(qū)，生成所述待分析數(shù)據(jù)集對應(yīng)的各個子數(shù)據(jù)集和所述實時數(shù)據(jù)流對應(yīng)的各個子數(shù)據(jù)流，包括：

對所述待分析數(shù)據(jù)集和所述實時數(shù)據(jù)流其中之一進(jìn)行分區(qū)，生成所述待分析數(shù)據(jù)集對應(yīng)的各個子數(shù)據(jù)集和各個子數(shù)據(jù)集的分類標(biāo)識或所述實時數(shù)據(jù)流對應(yīng)的各個子數(shù)據(jù)流和各個子數(shù)據(jù)流的分類標(biāo)識；

根據(jù)各個子數(shù)據(jù)集的分類標(biāo)識或各個子數(shù)據(jù)流的分類標(biāo)識，確定各個子數(shù)據(jù)集對應(yīng)的各個子數(shù)據(jù)流或各個子數(shù)據(jù)流對應(yīng)的各個子數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述對所述實時數(shù)據(jù)流進(jìn)行分區(qū)，生成所述實時數(shù)據(jù)流對應(yīng)的各個子數(shù)據(jù)流和各個子數(shù)據(jù)流的分類標(biāo)識，包括：

從所述實時數(shù)據(jù)流的每條消息中提取字段，生成所述實時數(shù)據(jù)流的每條消息對應(yīng)的分區(qū)變量，其中，所述提取原則為保證所述分區(qū)變量唯一且數(shù)值分布均勻；

根據(jù)所述實時數(shù)據(jù)流的各條消息對應(yīng)的分區(qū)變量和分區(qū)數(shù)量，對所述實時數(shù)據(jù)流的各條消息進(jìn)行哈希取模操作，得到所述實時數(shù)據(jù)流的各條消息對應(yīng)的各個子數(shù)據(jù)流和各個子數(shù)據(jù)流的分類標(biāo)識。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述將每個子數(shù)據(jù)集和與該子數(shù)據(jù)集相對應(yīng)的子數(shù)據(jù)流加載至所述分區(qū)子線程對應(yīng)的每個任務(wù)節(jié)點，包括：

將每個子數(shù)據(jù)集和與該子數(shù)據(jù)集相對應(yīng)的子數(shù)據(jù)流加載至該子數(shù)據(jù)集的所述分區(qū)子線程對應(yīng)的每個任務(wù)節(jié)點；或?qū)⒚總€子數(shù)據(jù)流和與該子數(shù)據(jù)流相對應(yīng)的子數(shù)據(jù)集加載至該子數(shù)據(jù)流的所述分區(qū)子線程對應(yīng)的每個任務(wù)節(jié)點。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述對該任務(wù)節(jié)點中的子數(shù)據(jù)流和子數(shù)據(jù)集執(zhí)行預(yù)設(shè)的運算操作，生成該任務(wù)節(jié)點的運算結(jié)果，包括：

根據(jù)任務(wù)節(jié)點并行度，對該任務(wù)節(jié)點中的子數(shù)據(jù)流和子數(shù)據(jù)集執(zhí)行預(yù)設(shè)的運算操作，生成該任務(wù)節(jié)點的運算結(jié)果，其中，所述任務(wù)節(jié)點并行度用于表征每個任務(wù)節(jié)點執(zhí)行所述分區(qū)子線程的個數(shù)。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述對所述待分析數(shù)據(jù)集和所述實時數(shù)據(jù)流進(jìn)行分區(qū)，生成所述待分析數(shù)據(jù)集對應(yīng)的各個子數(shù)據(jù)集和所述實時數(shù)據(jù)流對應(yīng)的各個子數(shù)據(jù)流之前，還包括：

根據(jù)所述待分析數(shù)據(jù)集的大小和計算資源，確定所述分區(qū)方法和任務(wù)節(jié)點的數(shù)量。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述分區(qū)方法包括：所述分區(qū)數(shù)量、分區(qū)算法和分區(qū)規(guī)則。