[發(fā)明專利]基于流數(shù)據(jù)實時計算的方法、系統(tǒng)、設備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201711015853.2
• 申請日: 2017-10-26
• 公開（公告）號: CN107678852B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設計）人: 何彬;高洪強;江志超;潘飛;許譯丹
• 申請（專利權）人: 攜程旅游網(wǎng)絡技術（上海）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/445
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 臧云霄;鐘宗

本發(fā)明提供了基于流數(shù)據(jù)實時計算的方法、系統(tǒng)、設備及存儲介質(zhì)，其中，方法包括以下步驟：對目前已有的數(shù)據(jù)進行節(jié)點開發(fā)，將已有的數(shù)據(jù)處理邏輯封裝成Storm集群的源頭和節(jié)點，然后在數(shù)據(jù)庫中進行節(jié)點配置，提供給后臺管理系統(tǒng)使用；根據(jù)系統(tǒng)中已經(jīng)配置的節(jié)點，根據(jù)業(yè)務需求設置每個節(jié)點的參數(shù)值，最后提交取數(shù)任務到數(shù)據(jù)庫中保存；提交取數(shù)任務；根據(jù)接收到的取數(shù)任務的配置參數(shù)生成網(wǎng)絡拓撲；將網(wǎng)絡拓撲提交到管理系統(tǒng)；根據(jù)管理系統(tǒng)的自定義回調(diào)函數(shù)觸發(fā)編譯系統(tǒng)進行網(wǎng)絡拓撲的編譯和打包；將打包后的網(wǎng)絡拓撲上傳到Storm集群；以及完成取數(shù)任務的網(wǎng)絡拓撲自動上線進行工作。本發(fā)明能夠滿足運營人員多種多樣的取數(shù)需求，通過配置化快速上線。

技術領域

本發(fā)明涉及數(shù)據(jù)處理領域，具體地說，涉及基于流數(shù)據(jù)實時計算的方法、系統(tǒng)、設備及存儲介質(zhì)。

背景技術

近年來大數(shù)據(jù)處理的需求不斷增多，如何處理龐大的海量數(shù)據(jù)充滿挑戰(zhàn)。隨著互聯(lián)網(wǎng)的進一步發(fā)展，從門戶網(wǎng)站瀏覽型到搜索型到SNS關系交互傳遞型，以及電子商務將生活中的流通環(huán)節(jié)在線化。對于效率的要求讓人們對實時性的要求進一步提升，而信息的交互正在往信息網(wǎng)的方向發(fā)展，必然帶來數(shù)據(jù)各個維度的交叉關聯(lián)，數(shù)據(jù)爆炸已不可避免。流式數(shù)據(jù)實時計算框架隨之誕生，比如Twitter Storm、Yahoo S4、IBM Streambase、Borealis等。通過類似于Storm的實時數(shù)據(jù)流計算框架，開發(fā)人員可以快速搭建一套健壯的實時流計算框架，配合數(shù)據(jù)庫使用可以低成本的開發(fā)出優(yōu)秀的實時產(chǎn)品。

Storm是2011年9月由Twitter公司開源的流式數(shù)據(jù)實時計算框架，是目前工業(yè)界技術最成熟的流計算框架之一。數(shù)據(jù)流處理平臺通常基于故障恢復的高可用方法有三類：積極備用(Active Standby)，消極備用(Passive Standby)和上游備份(UpstreamBackup)。在上游備份方式下，每個處理節(jié)點的緩存隊列維持輸出數(shù)據(jù)到一直到接收到來自下游節(jié)點的確認信號為止，在下游處理節(jié)點發(fā)生故障時，通過上游重發(fā)隊列中的數(shù)據(jù)來恢復計算。為了保證實時計算在處理數(shù)據(jù)時低處理時延的特性、同時降低資源消耗，Storm對上游備份機制進行了改進：(1)監(jiān)控線程(Acker)對處理過程進行跟蹤，使用高效的異或算法定位，一旦檢測到故障發(fā)生，通知數(shù)據(jù)源重新發(fā)射根元組數(shù)據(jù)；(2)處理節(jié)點無需緩存計算結果，而是在處理完元組后發(fā)送確認信號給監(jiān)控線程，監(jiān)控線程負責監(jiān)視根元組及其衍生的元組樹上的元組是否完成處理。

目前流式數(shù)據(jù)處理有很多流式計算框架，比如Storm、Spark Streaming等，每次做流式數(shù)據(jù)處理的時候，都需要單獨開發(fā)對應的腳本，一些數(shù)據(jù)處理會經(jīng)常重復但是又無法復用，腳本研發(fā)周期長，無法滿足多種場景，并且難以管理，嚴重阻礙數(shù)據(jù)處理上線的速度，無法快速響應業(yè)務需求。

因此，本發(fā)明提供了一種基于流數(shù)據(jù)實時計算的方法、系統(tǒng)、設備及存儲介質(zhì)。

發(fā)明內(nèi)容

針對現(xiàn)有技術中的問題，本發(fā)明的目的在于提供基于流數(shù)據(jù)實時計算的方法、系統(tǒng)、設備及存儲介質(zhì)，能夠滿足運營人員多種多樣的取數(shù)需求，通過配置化快速上線。

本發(fā)明的實施例提供一種基于流數(shù)據(jù)實時計算的方法，包括以下步驟：

S101、對目前已有的數(shù)據(jù)進行節(jié)點開發(fā)，將已有的數(shù)據(jù)處理邏輯封裝成Storm集群的源頭和節(jié)點，然后在數(shù)據(jù)庫中進行節(jié)點配置，提供給后臺管理系統(tǒng)使用；

S102、根據(jù)系統(tǒng)中已經(jīng)配置的節(jié)點，根據(jù)業(yè)務需求設置每個節(jié)點的參數(shù)值，最后提交取數(shù)任務到數(shù)據(jù)庫中保存；

S103、提交取數(shù)任務；

S104、根據(jù)接收到的取數(shù)任務的配置參數(shù)生成網(wǎng)絡拓撲；

S105、將所述網(wǎng)絡拓撲提交到管理系統(tǒng)；

S106、根據(jù)所述管理系統(tǒng)的自定義回調(diào)函數(shù)觸發(fā)編譯系統(tǒng)進行網(wǎng)絡拓撲的編譯和打包；