[發(fā)明專利]一種流計(jì)算執(zhí)行方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010126806.0
• 申請日: 2020-02-28
• 公開（公告）號(hào): CN111414385A
• 公開（公告）日: 2020-07-14
• 發(fā)明（設(shè)計(jì)）人: 于連宇;高鋒
• 申請（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455
• 代理公司: 北京樂知新創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 江宇

本發(fā)明公開了一種流計(jì)算執(zhí)行方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，首先接收自定義的流計(jì)算算法；從執(zhí)行引擎庫中選擇與所述流計(jì)算算法匹配的執(zhí)行引擎；之后接收流數(shù)據(jù)，并對所述流數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；最后利用所述匹配的執(zhí)行引擎對標(biāo)準(zhǔn)化處理后的流數(shù)據(jù)執(zhí)行所述流計(jì)算算法，得到標(biāo)準(zhǔn)化執(zhí)行結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)計(jì)算領(lǐng)域，尤其涉及一種流計(jì)算執(zhí)行方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

流計(jì)算是大數(shù)據(jù)計(jì)算中的核心場景，主要功能是對實(shí)時(shí)采集的數(shù)據(jù)進(jìn)行計(jì)算。流計(jì)算具體包括數(shù)據(jù)處理、異常檢測、流量分析等，涉及范圍廣泛，算法也非常豐富。對流計(jì)算而言，算法是核心能力，快速應(yīng)用算法，及時(shí)獲取結(jié)果，能快速對算法進(jìn)行檢驗(yàn)與實(shí)施。

目前流計(jì)算能力依賴執(zhí)行引擎，不同執(zhí)行引擎需要編制不同的定制化程序執(zhí)行；而且流計(jì)算應(yīng)用涵蓋算法比較豐富，但算法定制化很強(qiáng)。這樣，一方面執(zhí)行引擎環(huán)境需要定制化調(diào)整，過程個(gè)性化，造成每次算法的過程都比較繁瑣；另一方面因?yàn)閼?yīng)用流計(jì)算的模式都是對特定應(yīng)用使用特定程序來解決，這種方法不標(biāo)準(zhǔn)化，每種算法都需要重新啟用一段不同的程序，造成流計(jì)算的碎片化與不規(guī)范化。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例為了解決現(xiàn)有流計(jì)算存在的上述缺陷，創(chuàng)造性地提供了一種流計(jì)算執(zhí)行方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

根據(jù)本發(fā)明第一方面，提供了一種流計(jì)算執(zhí)行方法，該方法包括：接收自定義的流計(jì)算算法；從執(zhí)行引擎庫中選擇與所述流計(jì)算算法匹配的執(zhí)行引擎；接收流數(shù)據(jù)；對所述流數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；利用所述匹配的執(zhí)行引擎對標(biāo)準(zhǔn)化處理后的流數(shù)據(jù)執(zhí)行所述流計(jì)算算法，得到標(biāo)準(zhǔn)化執(zhí)行結(jié)果。

根據(jù)本發(fā)明一實(shí)施方式，在接收自定義的流計(jì)算算法之后，所述方法還包括：對所述流計(jì)算算法進(jìn)行正確性驗(yàn)證；相應(yīng)的，從執(zhí)行引擎庫中選擇與所述流計(jì)算算法匹配的執(zhí)行引擎，包括：從執(zhí)行引擎庫中選擇與正確性驗(yàn)證通過后的流計(jì)算算法匹配的執(zhí)行引擎。

根據(jù)本發(fā)明一實(shí)施方式，所述方法還包括：對所述流計(jì)算算法進(jìn)行依賴解析，得到依賴解析結(jié)果；相應(yīng)的，從執(zhí)行引擎庫中選擇與所述流計(jì)算算法匹配的執(zhí)行引擎，還包括：從執(zhí)行引擎庫中選擇與所述依賴解析結(jié)果匹配的依賴執(zhí)行引擎。

根據(jù)本發(fā)明一實(shí)施方式，所述接收流數(shù)據(jù)包括：初始化緩沖池，所述緩沖池用于緩存待執(zhí)行流計(jì)算的數(shù)據(jù)；將接收到的流數(shù)據(jù)按流窗口更新存儲(chǔ)至緩沖池；相應(yīng)的，對所述流數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，包括：對更新存儲(chǔ)至緩沖池中的流數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。

根據(jù)本發(fā)明一實(shí)施方式，利用所述匹配的執(zhí)行引擎對標(biāo)準(zhǔn)化處理后的流數(shù)據(jù)執(zhí)行所述流計(jì)算算法，包括：分別將所述標(biāo)準(zhǔn)化處理后的流數(shù)據(jù)和流計(jì)算算法傳送至引擎執(zhí)行環(huán)境；在所述引擎執(zhí)行環(huán)境中利用所述匹配的執(zhí)行引擎執(zhí)行所述流計(jì)算算法。

根據(jù)本發(fā)明第二方面，還提供了一種流計(jì)算執(zhí)行設(shè)備，該設(shè)備包括：接收模塊，用于接收自定義的流計(jì)算算法；選擇模塊，用于從執(zhí)行引擎庫中選擇與所述流計(jì)算算法匹配的執(zhí)行引擎；所述接收模塊，還用于接收流數(shù)據(jù)；標(biāo)準(zhǔn)化處理模塊，用于對所述流數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；執(zhí)行模塊，用于利用所述匹配的執(zhí)行引擎對標(biāo)準(zhǔn)化處理后的流數(shù)據(jù)執(zhí)行所述流計(jì)算算法，得到標(biāo)注化執(zhí)行結(jié)果。

根據(jù)本發(fā)明一實(shí)施方式，所述設(shè)備還包括：正確性驗(yàn)證模塊，用于在通過接收模塊接收自定義的流計(jì)算算法之后，對所述流計(jì)算算法進(jìn)行正確性驗(yàn)證；相應(yīng)的，所述選擇模塊，還用于從執(zhí)行引擎庫中選擇與正確性驗(yàn)證通過后的老舊計(jì)算算法匹配的執(zhí)行引擎。

根據(jù)本發(fā)明一實(shí)施方式，所述設(shè)備還包括：依賴解析模塊，用于對所述流計(jì)算算法進(jìn)行依賴解析，得到依賴解析結(jié)果；相應(yīng)的，所述選擇模塊，還用于從執(zhí)行引擎庫中選擇與所述依賴解析結(jié)果匹配的依賴執(zhí)行引擎。

根據(jù)本發(fā)明一實(shí)施方式，所述接收模塊，具體用于初始化緩沖池，所述緩沖池用于緩存待執(zhí)行流計(jì)算的數(shù)據(jù)；將接收到的流數(shù)據(jù)按流窗口更新存儲(chǔ)至緩沖池；相應(yīng)的，所述標(biāo)準(zhǔn)化處理模塊，具體用于對更新存儲(chǔ)至緩沖池中的流數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。