[發明專利]一種基于增量計算的分布式流式數據系統

在審

• 申請號: 201310542870.7
• 申請日: 2013-11-06
• 公開（公告）號: CN104636327A
• 公開（公告）日: 2015-05-20
• 發明（設計）人: 趙龍飛
• 申請（專利權）人: 上海語鏡汽車信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于增量計算的分布式流式數據系統，其特征在于：該系統由存儲節點、計算節點組成，存儲節點、計算節點之間采取連接池方式保持連接，出錯后會自動重新連接，其中：

存儲節點REDIS構建，保存了大量的中間結果，保證了隨著數據的不斷流入，有專用的持久化程序對內存中的數據定期進行持久化保存，為故障恢復做準備；

計算節點負責核心的計算工作，其采用C語言構建的基礎HTTP的數據接收端，JSON作為唯一的數據處理格式，LUA作為邏輯編寫的腳本語言，在提供高性能的同時，降低了編程的難度；中途出現錯誤后，原始數據會自動的發送到另外一個處理節點，保證數據能得到處理；

該系統采用增量的計算模型，將計算需求拆分成多個可以依次完成的步驟，避免對全量數據進行處理，每次只將新增的部分加入到之前的計算結果中，存儲節點中永遠保持最新的計算結果，方便數據的處理。

2.根據權利要求1所述的系統，其特征在于，存儲節點被分成了私有變量、公有變量、腳本服務器三種，外部服務和LBS都是系統外的服務，計算節點也有調用的權利。

3.一種采用權利要求1或2所述的系統進行的單條數據的處理方法，其特征在于，該方法包括如下步驟：

(1)當計算節點接收到一條數據請求時，首先對數據包進行分解；

(2)解析成功后進入下一步，為了提高響應速度，完成數據的接收后，立即給出響應，不用等到這條數據處理完畢；

(3)然后開始讀取存儲節點中的數據，讀取完成后開始結合數據包中的最新數據，進行增量計算，最后將結果寫回到存儲節點中；

(4)最后，根據功能需求，還可以對外部的服務進行調用。