[發(fā)明專利]分析算法程序數(shù)據(jù)的方法及裝置

有效

• 申請?zhí)枺?/td>: 202110841008.0
• 申請日: 2021-07-26
• 公開（公告）號: CN113312272B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 趙威;馬金鋼;阮鯤;曹磊;張政;馮婉玲
• 申請（專利權(quán)）人: 中科三清科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京北匯律師事務(wù)所 11711
• 代理人: 馬亞坤

本發(fā)明公開了一種分析算法程序數(shù)據(jù)的方法及裝置。該方法包括：后臺程序接收算法程序運(yùn)行至錨點(diǎn)處時異步發(fā)送的數(shù)據(jù)并保存在數(shù)據(jù)池中，其中，所述數(shù)據(jù)帶有標(biāo)識；從所述數(shù)據(jù)池獲取指定標(biāo)識的數(shù)據(jù)進(jìn)行分析處理。該裝置包括：接收單元，用于接收算法程序運(yùn)行至錨點(diǎn)處時異步發(fā)送的數(shù)據(jù)，其中，所述數(shù)據(jù)帶有標(biāo)識；數(shù)據(jù)池，用于保存所述接收單元接收的數(shù)據(jù)；處理單元，用于從所述數(shù)據(jù)池獲取指定標(biāo)識的數(shù)據(jù)進(jìn)行分析處理。這種方法及裝置既可以通過對中間數(shù)據(jù)進(jìn)行分析比對來比對不同機(jī)器上運(yùn)行的算法，又可以實(shí)時排查算法錯誤，被測試算法程序?qū)?shù)據(jù)分析過程無感知，不影響業(yè)務(wù)，節(jié)省大規(guī)模集群測試算法調(diào)試與分析時間。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式計算領(lǐng)域，更為具體來說，本發(fā)明涉及一種分析算法程序數(shù)據(jù)的方法。

背景技術(shù)

在大規(guī)模集群計算場景中，常見的集群調(diào)度系統(tǒng)有：SLURM、PBS、LSF、以及SGE等，這些系統(tǒng)交互邏輯均為：編寫作業(yè)腳本、提交作業(yè)、等待作業(yè)隊(duì)列排隊(duì)、查看作業(yè)，均不提供調(diào)試程序的操作，若要排查問題只能通過查看作業(yè)執(zhí)行完畢后的日志。

計算集群上部署大規(guī)模算法運(yùn)行過程中，一旦出現(xiàn)錯誤無法實(shí)時準(zhǔn)確排查問題，例如在SLURM這樣的集群作業(yè)系統(tǒng)中，需要根據(jù)日志排查問題。有些算法問題在單個計算節(jié)點(diǎn)上使用單例運(yùn)行無法復(fù)現(xiàn)，必須在集群上大規(guī)模運(yùn)行才會出現(xiàn)，這個問題在大規(guī)模并行計算上很常見，此時若使用算法日志排查問題，不是一件容易的事情，算法中變量眾多、邏輯復(fù)雜，日志無法完全跟蹤到某個變量在某個具體過程中的變化。

大規(guī)模計算系統(tǒng)中若對算法進(jìn)行評價往往通過分析結(jié)果數(shù)據(jù)集來進(jìn)行，這種評價方式只能對算法做出結(jié)論性、統(tǒng)計性評價，若要評價算法中某個子過程、子算法，需要單獨(dú)針對性地輸出結(jié)果數(shù)據(jù)集，這有兩個弊端：1）評價的子過程越多則結(jié)果數(shù)據(jù)集生成的越多，管理不方便；2）若只想評價某幾個子算法，在不修改代碼的情況下需要運(yùn)行一遍完整算法，浪費(fèi)了不必要的等待時間。

鑒于現(xiàn)有技術(shù)存在的問題，目前亟需一種能夠?qū)崿F(xiàn)集群系統(tǒng)上實(shí)時數(shù)據(jù)分析的方法。

發(fā)明內(nèi)容

本發(fā)明創(chuàng)新地提供了一種分析算法程序數(shù)據(jù)的方法及裝置，可以實(shí)現(xiàn)計算集群上算法程序?qū)崟r在線數(shù)據(jù)分析。

為實(shí)現(xiàn)上述的技術(shù)目的，一方面，本發(fā)明公開了一種分析算法程序數(shù)據(jù)的方法。所述計算集群上分析算法程序數(shù)據(jù)的方法包括：后臺程序接收算法程序運(yùn)行至錨點(diǎn)處時異步發(fā)送的數(shù)據(jù)并保存在數(shù)據(jù)池中，其中，所述數(shù)據(jù)帶有標(biāo)識；從所述數(shù)據(jù)池獲取指定標(biāo)識的數(shù)據(jù)進(jìn)行分析處理。

進(jìn)一步地，所述的分析算法程序數(shù)據(jù)的方法還包括：后臺程序中的處理程序與所述數(shù)據(jù)池建立會話；所述從所述數(shù)據(jù)池獲取指定標(biāo)識的數(shù)據(jù)進(jìn)行分析處理，包括：通過所述會話從所述數(shù)據(jù)池獲取指定的與所述會話對應(yīng)標(biāo)識的數(shù)據(jù)進(jìn)行分析處理。

進(jìn)一步地，對于所述的分析算法程序數(shù)據(jù)的方法，所述處理程序包括以熱更新插件形式集成的分析策略。

進(jìn)一步地，對于所述的分析算法程序數(shù)據(jù)的方法，所述算法程序包括錨點(diǎn)，所述錨點(diǎn)為用于標(biāo)記所跟蹤的數(shù)據(jù)變量的單句代碼。

進(jìn)一步地，對于所述的分析算法程序數(shù)據(jù)的方法，包括錨點(diǎn)的算法程序在運(yùn)行時自動與所述后臺程序通信。

進(jìn)一步地，對于所述的分析算法程序數(shù)據(jù)的方法，所述通信采用異步消息機(jī)制。

進(jìn)一步地，對于所述分析算法程序數(shù)據(jù)的方法，在從所述數(shù)據(jù)池獲取指定標(biāo)識的數(shù)據(jù)進(jìn)行分析處理之后，還包括：將分析處理后得到的分析結(jié)果數(shù)據(jù)發(fā)送到所述數(shù)據(jù)池保存。

為實(shí)現(xiàn)上述的技術(shù)目的，另一方面，本發(fā)明公開了一種分析算法程序數(shù)據(jù)的裝置。所述分析算法程序數(shù)據(jù)的裝置包括：處理單元，用于控制后臺程序在接收算法程序運(yùn)行至錨點(diǎn)處時異步發(fā)送的數(shù)據(jù)并保存在數(shù)據(jù)池中，其中，所述數(shù)據(jù)帶有標(biāo)識；分析單元，用于從所述數(shù)據(jù)池獲取指定標(biāo)識的數(shù)據(jù)進(jìn)行分析處理。