[發明專利]大數據離線計算中的源數據采集方法和系統

有效

• 申請號: 201610903252.4
• 申請日: 2016-10-17
• 公開（公告）號: CN107959697B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 萬志穎;阮華;曾凡;李家昌;何瑞;史曉茸
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/182
• 代理公司: 11438 北京律智知識產權代理有限公司
• 代理人: 邢雪紅;喬彬<國際申請>=<國際公布>=

1.一種大數據離線計算中的源數據采集方法，其特征在于，包括：

通過采集集群從存儲集群分布式下載源數據，所述源數據是流式地上報至所述存儲集群；

將所述下載的源數據上傳至離線計算數據庫；

所述源數據被存儲于所述離線計算數據庫。

所述通過采集集群從存儲集群分布式下載源數據的步驟包括：

通過所述采集集群的接口層從所述存儲集群下載源數據；

將所述源數據分發至數據落地進程，所述數據落地進程分布在所述采集集群中的不同機器上。

2.根據權利要求1所述的方法，其特征在于，所述通過采集集群從存儲集群分布式下載源數據的步驟之前，所述方法還包括：

所述存儲集群接收流式上報的源數據，并對接收的所述源數據進行數據復制得到兩份源數據；

所述存儲集群對其中一份源數據進行存儲，另一份源數據則供采集集群下載。

3.根據權利要求1所述的方法，其特征在于，將所述源數據分發至數據落地進程的步驟包括：

根據配置的數據源數量為所述源數據分配數據落地進程，所述配置的數據源數量為原始配置的數據源數量或者動態調整的數據源數量；

向所述分配的數據落地進程分發所述源數據。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

按照預置的時間間隔進行心跳數據的接收，所述心跳數據由所述數據落地進程上報；

針對所述數據落地進程，判斷所述數據落地進程是否按照預置時間間隔上報心跳數據，若為否，則反饋所述數據落地進程對應的數據源故障；

根據反饋的所述數據源故障動態調整所述數據源數量，動態調整所述數據源數量用于重新為所述源數據分配數據落地進程。

5.根據權利要求1所述的方法，其特征在于，所述將所述下載的源數據上傳至離線計算數據庫的步驟包括：

所述數據落地進程將接收的所述源數據存儲為本地數據；

匯總所述本地數據，將匯總的所述本地數據上傳至離線計算數據庫，通過所述本地數據的上傳使得下載的源數據被上傳至離線計算數據庫。

6.根據權利要求5所述的方法，其特征在于，所述匯總本地離線計算數據庫，將匯總的所述本地數據上傳至離線計算數據庫，通過所述本地數據的上傳使得下載的源數據被上傳至離線計算數據庫的步驟之前；

所述將所述下載的源數據上傳至離線計算數據庫的步驟還包括：

觸發進行計時以統計得到時間，在所述時間達到預設時間閾值時觸發所述本地數據的匯總。

7.一種大數據離線計算中的源數據采集系統，其特征在于，所述系統包括：

分布式下載模塊，用于運行于采集集群，并從存儲集群分布式下載源數據，所述源數據是流式地上報至所述存儲集群；

上傳模塊，用于將所述下載的源數據上傳至離線計算數據庫；

存儲模塊，用于將所述源數據被存儲于所述離線計算數據庫。

所述分布式下載模塊包括：

接口層實現單元，用于實現所述采集集群的接口層從所述存儲集群下載源數據；

數據分發單元，用于將所述源數據分發至數據落地進程，所述數據落地進程分布于所述采集集群中的不同機器上。

8.根據權利要求7所述的系統，其特征在于，所述系統還包括：

上報處理模塊，用于在所述存儲集群接收流式上報的源數據，并對接收的所述源數據進行數據復制得到兩份源數據；

源數據處理模塊，用于在所述存儲集群對其中一份源數據進行存儲，另一份源數據則供采集集群下載。

9.根據權利要求7所述的系統，其特征在于，所述數據分發單元包括：

進程分配子單元，用于根據配置的數據源數量為所述源數據分配數據落地進程，所述配置的數據源數量為原始配置的數據源數量或者動態調整的數據源數量；

分發執行子單元，用于向所述分配的數據落地進程分發所述源數據。