[發明專利]一種實時指標計算的方法、系統、電子裝置和存儲介質

在審

• 申請號: 202110748320.5
• 申請日: 2021-06-30
• 公開（公告）號: CN113625991A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 楊光躍
• 申請（專利權）人: 同盾科技有限公司;同盾控股有限公司
• 主分類號: G06F7/498
• 分類號: G06F7/498;G06F16/2455;G06F16/2458
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 張超

本申請涉及一種實時指標計算的方法、系統、電子裝置和存儲介質，其中，該方法包括：接收新數據，并獲取與該新數據同一分組的第一歷史累加和，將該新數據與第一歷史累加和相加，構建得到新的累加和；接著，獲取新數據的事件時間，并用該事件時間減去指標配置的窗口時間范圍，得到窗口開始時間；最后根據窗口開始時間，獲取該窗口開始時間之前的累加和，并用新的累加和減去該窗口開始時間之前的累加和，得到指標計算結果，解決了在計算實時指標時，存在的響應速度慢或計算精度低的問題，既能保證指標計算結果的精準度，又能滿足響應時間的要求，提高計算速度。

技術領域

本申請涉及大數據領域，特別是涉及一種實時指標計算的方法、系統、電子裝置和存儲介質。

背景技術

指標計算是對原始數據進行深層次挖掘和加工的過程，是機器學習領域能夠發揮作用的關鍵步驟。在具體的場景中，如交易反欺詐，風控大腦，信貸審計等，都是根據指標構建規則集或者決策樹，對每一次請求給出風險提示。此外，實時指標是指以當前數據的時間點往前進行時間窗口滑動回溯，實時窗口同一主維度分組的所有數據都會分配進入同一個窗口，每接收一條新數據，均會觸發窗口進行計算，但計算之前，會以當前數據的時間為參考，把窗口中已過期的時間數據予以剔除，之后，將剩余符合要求的數據取回，由計算函數處理輸出計算結果。然而，對于大規模上百億的數據集進行指標的計算，響應速度會面臨著巨大的挑戰，往往要以犧牲精準度為代價來加快響應速度。

在相關技術中，計算實時指標的方法主要有兩種：1.全量掃描法，以當前數據的事件時間作為結束時間，減去指標配置的時間窗口得到開始時間，然后把處于該時間范圍的并且同一分組的數據全部撈出來，然后在該數據集上計算指標。2.分片增量計算法，這種方法就是首先確定一個時間分片，比如說天，小時或者分鐘，然后把同一分組并且同一時間片的數據進行預聚合，之后在計算指標時只需要把時間范圍內的分片的聚合結果累加。然而，對于全量掃描法，它的實現簡單，但是如果數據集的規模比較大，每次都要撈取大量的數據，這樣會耗費大量的時間，設置有可能造成宕機等，因此，只適合在小規模數據集上使用。對于分片增量計算法，它能夠有效地降低計算耗時，但是時間分片會犧牲一部分的指標精確度，比如說時間分片是天，指標配置的時間范圍是7天，當前數據事件時間是2021-06-0211:11:11,那么時間窗口應該是2021-05-26 11:11:11至2021-06-02 11:11:11，但是該方法實際計算的窗口是2021-05-26 00:00:00至2021-06-02 11:11:11。如果把分片調小為小時或分鐘，那么精度可能為提高，但是帶來的性能就會下降。

目前針對相關技術中在計算實時指標時，存在的響應速度慢或計算精度低的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種實時指標計算的方法、系統、電子裝置和存儲介質，以至少解決相關技術中在計算實時指標時，存在的響應速度慢或計算精度低的問題。

第一方面，本申請實施例提供了一種實時指標計算的方法，所述方法包括：

接收新數據，并獲取與所述新數據同一分組的第一歷史累加和，將所述新數據與所述第一歷史累加和相加，構建得到新的累加和；

獲取所述新數據的事件時間，并用所述事件時間減去指標配置的窗口時間范圍，得到窗口開始時間；

根據所述窗口開始時間，獲取所述窗口開始時間之前的累加和，并用所述新的累加和減去所述窗口開始時間之前的累加和，得到指標計算結果。

在其中一些實施例中，在得到指標計算結果之后，所述方法包括：

輸出所述指標計算結果，并保存所述新的累加和。

在其中一些實施例中，所述獲取與所述新數據同一分組的第一歷史累加和包括：

計算同一分組的起始點到所述新數據之前的累加和，得到第一歷史累加和y：