[發明專利]基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統

在審

• 申請號: 201811484698.3
• 申請日: 2018-12-06
• 公開（公告）號: CN109614401A
• 公開（公告）日: 2019-04-12
• 發明（設計）人: 龔虹瑞;王永程;夏延釗;劉明明;楊家紅;邱祥吉
• 申請（專利權）人: 航天恒星科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215;G06F16/2455;G06F16/27
• 代理公司: 北京善任知識產權代理有限公司 11650
• 代理人: 王大方;金楊

1.基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，包括：

Kafka模塊，用于對網絡傳輸數據進行接入和發布；

Flume數據處理模塊，包括Flume Interceptors單元、Channel選擇單元、FlumeChannel單元、HBase Sink存儲單元、ES Sink存儲單元；所述Flume Interceptors單元，用于對Kafka模塊發布的網絡傳輸數據解析為JSON格式，并進行數據處理，包括增加消息序列、增加時間戳、增加DataRowkey；所述Channel選擇單元，用于為每種數據類型定義特定的通道，及將Flume Interceptors單元處理后的網絡傳輸數據按數據類型推送至對應通道；所述Flume Channel單元，用于接收Channel選擇單元的各通道推送的網絡傳輸數據并緩存，并根據數據類型將網絡傳輸數據傳輸至HBase Sink存儲單元或ES Sink存儲單元；所述HBase Sink存儲單元，用于根據設定的存儲結構將網絡傳輸數據中的元數據結合原始報文存儲到HBase中；所述ES Sink存儲單元，用于將提取的網絡傳輸數據中的元數據存儲到ES中。

2.根據權利要求1所述基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，所述Kafka模塊將接入的網絡傳輸數據發布為Topic。

3.根據權利要求2所述基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，所述Kafka模塊發布的Topic按照網絡數據特征分為：單包數據類型接入Topic，應用日志類型接入Topic、統計數據類型接入Topic、文檔數據Topic。

4.根據權利要求1所述基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，所述Flume Interceptors單元進行增加消息序列，包括設定增加到消息序列的隨機數并作為接入網絡傳輸數據的名稱標識。

5.根據權利要求1所述基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，所述Flume Interceptors單元進行增加時間戳，包括按當前服務器時間生成時間戳及作為接入網絡傳輸數據的時間標識。

6.根據權利要求1所述基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，所述Flume Interceptors單元增加的DataRowkey的組成為：數據秒數+(Long.Max-記錄時間)+線路+數據類型+數據流水號，其中Long.Max-記錄時間表示系統中最大值與當前時間戳的差值。

7.根據權利要求1所述基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，所述HBase Sink存儲單元存儲過程具體為：

按設定的Hbase存儲結構創建Hbase表；

接收和解析來自Flume Channel單元中的網絡傳輸數據，提取出數據中的DataRowKey字段，作為HBase表的RowKey；及提取出網絡傳輸數據中的元數據，作為Hbase表的LogData列，同時提取出網絡傳輸數據中的原始報文數據，作為Hbase表的RawPacket列，并將原始報文數據放入HBase存儲隊列中；

根據HBase存儲隊列，按所需條數每次批量提交到HBase中。

8.根據權利要求1所述基于ElasticSearch和Hbase技術的網絡傳輸數據存儲系統，其特征在于，所述ES Sink存儲單元的存儲過程具體為：

按日期創建索引，并根據協議類型生成ES的索引映射關系Mapping；

接收來自Flume Channel單元中的網絡傳輸數據，并提取出網絡傳輸數據中的元數據，并獲取數據協議類型后匹配至ES的索引映射關系Mapping，將網絡傳輸數據放入ES存儲隊列中；

根據ES存儲隊列，按所需條數每次批量提交到ES中。