[發明專利]基于Storm和Kafka技術的訂單實時監控系統

在審

• 申請號: 201710174852.6
• 申請日: 2017-03-22
• 公開（公告）號: CN106920158A
• 公開（公告）日: 2017-07-04
• 發明（設計）人: 王清霞;劉寧;周國輝;姜林
• 申請（專利權）人: 北京再塑寶科技有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06Q10/10;G06F17/30;G06F9/50;G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及計算機應用技術領域，尤其涉及基于Storm和Kafka技術的訂單實時監控系統。

背景技術

目前，隨著大數據時代的到來，數據規模變得越來越龐大，可獲取的數據渠道也逐漸增多，尤其是互聯網電子商務領域的數據規模更加龐大。

各大互聯網電商門戶網站在日訂單量大幅度提升，尤其在節假日進行各種促銷活動已經成為一種趨勢，在促銷活動期間，電商網站產生大量的流量和商品訂單，商家運營部通過監控實時的訂單數據調整營銷策略也顯得尤為重要，同時，讓用戶能實時看到電商網站的訂單數據，也能增加用戶的購買欲望。

在高并發的條件下，訂單數據會爆發式增長，現有的離線計算系統已經不能滿足在高并發環境下的實時計算需求，針對這種情況，大規模訂單數據的處理面臨的最大的挑戰在于如何在有限的時間內對數據進行處理和分析，并且能夠實時解決。

因此，對訂單實時監控，并保證訂單數量、訂單實時價格準確性很重要，對異常訂單能夠及時處理，成為各大電商網站迫切需求，本發明提出基于Storm和Kafka技術的訂單實時監控系統，能夠快速的對當前價格和歷史價格進行校驗核對，對有問題的訂單，做進一步的處理，更好的完善訂單系統。

發明內容

有鑒于此，本發明的主要目的在于提供一種基于Storm和Kafka技術的訂單實時監控系統，能夠對訂單的當前價格和歷史價格，進行實時校驗核對，對有問題的訂單及時做進一步處理，從而，提升了處理效率。

為達到上述目的，本發明的技術方案是這樣實現的：

基于Storm和Kafka技術的訂單實時監控系統，主要流程包括以下幾個部分：

A、訂單數據獲取；

B、Kafka集群；

C、Strom集群；

D、Zookeeper集群；

E、數據處理結果展示。

其中所述步驟A處理過程主要為：從數據庫中獲取訂單數據，通過訂單號獲取價格、并查詢一個訂單所對應的skucode。

其中所述步驟B處理過程主要為：Kafka主要由Producer，Consumer和Broker組成。啟動Zookeeper集群，Kafka用Zookeeper集群來記錄每一個消費者（Consumer）的offset，并且為集群上的每一臺Kafka服務器單獨配置配置文件，同時采用隨機放入時的方法，往kafka里面放數據。

其中所述步驟C處理過程主要包括以下幾個流程：

進一步地，C1、創建消費kafka的spout，即storm提供的KafkaSpout；

C2、在本發明中創建了兩個Bolt，一個是創建處理從kafka讀取數據的OrderBolt，OrderBolt負責解析kafka讀取到的json并發送到下個OrderHandleBolt進一步處理；

C3、創建OrderHandleBolt，并繼承BaseRichBolt，即處理訂單的bolt，執行public void execute(Tuple tuple, BasicOutputCollector collector)函數，并且該函數通過collector提交數據，同時重載了declareOutputFields函數，通知下一個Bolt的數據格式。該方法功能主要實現歷史訂單進行比對，并將異常訂單相關編號和sku編號，當前價格和歷史價格，通過調用MailSender實體類郵件發送功能方法發送相關責任人的郵箱。

C4、創建拓撲OrderTopology，首先創建了一個叫OnProductOrder的topic，然后配置好KafkaSpout的配置SpoutConfig，其中zk的地址端口和根節點，需要說明的是：本發明中Kafka創建了一個3分區的Topic，這里并行度設置為3；

C5、將id為spout通過shuffleGrouping關聯到OrderBolt對象，然后將節點為OrderBolt通過shuffleGrouping關聯到OrderHandleBolt對象。

C6、最后根據參數創建3個Worker，提交Storm Topology。