[發明專利]一種數據管理方法、中間件及數據管理系統

在審

• 申請號: 201711473196.6
• 申請日: 2017-12-29
• 公開（公告）號: CN108197233A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 顏健
• 申請（專利權）人: 飛狐信息技術（天津）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種數據管理方法，其特征在于，應用于中間件，所述方法包括：

獲得數據采集方的采集數據；

生成所述采集數據的主題信息，并封裝所述采集數據及所述主題信息，得到包括主題信息的采集數據；

發送所述包括主題信息的采集數據至數據存儲方，以使數據存儲方根據所述采集數據的主題信息將所述采集數據存儲至相應主題所對應的存儲位置處。

2.根據權利要求1所述的方法，其特征在于，所述數據采集方為Flume日志系統，則所述獲得數據采集方的采集數據，包括：

基于預定協議接收Flume日志系統采集的每條日志數據；

將接收的每條日志數據緩存在預先創建的阻塞隊列中。

3.根據權利要求2所述的方法，其特征在于，所述數據存儲方為Kafka分布式發布訂閱消息系統，則所述發送所述包括主題信息的采集數據至數據存儲方，包括：

基于預先創建的線程池，發送包括主題信息的日志數據至Kafka分布式發布訂閱消息系統。

4.根據權利要求1所述的方法，其特征在于，在所述發送所述包括主題信息的采集數據至數據存儲方之前，還包括：

獲得黑白名單主題信息；

當所述采集數據對應的主題信息為黑名單主題信息或非白名單主題信息時，過濾掉所述采集數據；

當所述采集數據對應的主題信息為非黑名單主題信息或白名單主題信息時，觸發發送所述包括主題信息的采集數據至數據存儲方的相應主題所對應的存儲位置處的步驟。

5.根據權利要求1所述的方法，其特征在于，還包括：

監控所述中間件的數據流量，并在數據流量異常時進行告警。

6.一種中間件，其特征在于，包括：

數據獲取單元，用于獲得數據采集方的采集數據；

主題生成單元，用于生成所述采集數據的主題信息，并封裝所述采集數據及所述主題信息，得到包括主題信息的采集數據；

數據發送單元，用于發送所述包括主題信息的采集數據至數據存儲方，以使數據存儲方根據所述采集數據的主題信息將所述采集數據存儲至相應主題所對應的存儲位置處。

7.根據權利要求6所述的中間件，其特征在于，所述數據采集方為Flume日志系統，所述數據存儲方為Kafka分布式發布訂閱消息系統；

則所述數據獲取單元，具體用于：

基于預定協議接收Flume日志系統采集的每條日志數據；將接收的每條日志數據緩存在預先創建的阻塞隊列中；

相對應地，所述數據發送單元，具體用于：

基于預先創建的線程池，發送包括主題信息的日志數據至Kafka分布式發布訂閱消息系統。

8.根據權利要求6所述的中間件，其特征在于，還包括：

黑白名單管理單元，用于：

獲得黑白名單主題信息；當所述采集數據對應的主題信息為黑名單主題信息或非白名單主題信息時，過濾掉所述采集數據；當所述采集數據對應的主題信息為非黑名單主題信息或白名單主題信息時，觸發所述發送單元。

9.根據權利要求6所述的中間件，其特征在于，還包括：

流量監控單元，用于監控所述中間件的數據流量，并在數據流量異常時進行告警。

10.一種數據管理系統，其特征在于，包括服務器集群，其中，所述服務器集群中的每個服務器部署有一個如權利要求6-9任一項所述的中間件。

11.根據權利要求10所述的系統，其特征在于，還包括：

負載均衡管理裝置，用于對所述服務器集群中的各個服務器進行負載監控及管理，以使得所述服務器集群中各個服務器的負載均衡。