[發(fā)明專利]數(shù)據(jù)采集系統(tǒng)、方法、節(jié)點設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810515496.4
• 申請日: 2018-05-25
• 公開（公告）號: CN110597890B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計）人: 郭峰
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 韓東艷

1.一種數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集系統(tǒng)包括多個數(shù)據(jù)處理模塊；

所述數(shù)據(jù)采集系統(tǒng)中第一個數(shù)據(jù)處理模塊用于當獲取到數(shù)據(jù)源的任一批數(shù)據(jù)時，指示所述數(shù)據(jù)源提供下一批數(shù)據(jù)；

所述數(shù)據(jù)采集系統(tǒng)中任一個數(shù)據(jù)處理模塊用于對已接收到的任一批數(shù)據(jù)執(zhí)行對應(yīng)的數(shù)據(jù)處理操作時，接收下一批數(shù)據(jù)；

所述數(shù)據(jù)采集系統(tǒng)中最后一個數(shù)據(jù)處理模塊用于將處理后的數(shù)據(jù)存儲至第一存儲源中；

所述數(shù)據(jù)采集系統(tǒng)中所述第一個數(shù)據(jù)處理模塊以外的任一個數(shù)據(jù)處理模塊還用于在檢測到流量峰值的情況下，若所述第一個數(shù)據(jù)處理模塊以外的任一個數(shù)據(jù)處理模塊對應(yīng)的節(jié)點設(shè)備滿足預(yù)設(shè)條件，指示所述第一個數(shù)據(jù)處理模塊降低從所述數(shù)據(jù)源獲取數(shù)據(jù)的速度；若所述第一個數(shù)據(jù)處理模塊以外的任一個數(shù)據(jù)處理模塊對應(yīng)的節(jié)點設(shè)備不滿足所述預(yù)設(shè)條件的次數(shù)達到預(yù)設(shè)次數(shù)，指示所述第一個數(shù)據(jù)處理模塊恢復(fù)從所述數(shù)據(jù)源中獲取數(shù)據(jù)的速度。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集系統(tǒng)中任一個數(shù)據(jù)處理模塊具有對應(yīng)的內(nèi)存空間，所述內(nèi)存空間用于緩存已接收到的數(shù)據(jù)；

所述數(shù)據(jù)采集系統(tǒng)中任一個數(shù)據(jù)處理模塊還用于對已接收到的任一批數(shù)據(jù)執(zhí)行對應(yīng)的數(shù)據(jù)處理操作時，將接收到的下一批數(shù)據(jù)緩存至所述任一個數(shù)據(jù)處理模塊的內(nèi)存空間中，當處理所述任一批數(shù)據(jù)完成后，從所述內(nèi)存空間中讀取所述下一批數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集系統(tǒng)還包括至少一個共享內(nèi)存池，每個共享內(nèi)存池用于為對應(yīng)的多個數(shù)據(jù)處理模塊提供內(nèi)存空間。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述任一個數(shù)據(jù)處理模塊還用于從對應(yīng)的共享內(nèi)存池中申請內(nèi)存空間，當申請得到的內(nèi)存空間使用完畢后，將所述申請得到的內(nèi)存空間釋放回所述共享內(nèi)存池中。

5.根據(jù)權(quán)利要求2至4中任一項所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集系統(tǒng)中任一個數(shù)據(jù)處理模塊的內(nèi)存空間包括堆內(nèi)內(nèi)存；

所述任一個數(shù)據(jù)處理模塊還用于將處理后的數(shù)據(jù)推送至下一個數(shù)據(jù)處理模塊的堆內(nèi)內(nèi)存中。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)采集系統(tǒng)，所述數(shù)據(jù)采集系統(tǒng)中任一個數(shù)據(jù)處理模塊的內(nèi)存空間還包括堆外內(nèi)存；

所述任一個數(shù)據(jù)處理模塊還用于當所述任一個數(shù)據(jù)處理模塊和下一個數(shù)據(jù)處理模塊位于同一節(jié)點設(shè)備時，將處理后的數(shù)據(jù)推送至所述下一個數(shù)據(jù)處理模塊的堆內(nèi)內(nèi)存中；或，

所述任一個數(shù)據(jù)處理模塊還用于當所述任一個處理模塊和下一個數(shù)據(jù)處理模塊位于不同節(jié)點設(shè)備時，對處理后的數(shù)據(jù)進行序列化，將序列化的數(shù)據(jù)存儲至所述任一個數(shù)據(jù)處理模塊的堆外內(nèi)存中，將所述序列化后的數(shù)據(jù)從所述堆外內(nèi)存推送至下一個數(shù)據(jù)處理模塊的堆內(nèi)內(nèi)存中。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集系統(tǒng)還包括第二存儲源，所述第二存儲源用于存儲所述數(shù)據(jù)采集系統(tǒng)當前處理的數(shù)據(jù)的快照單元，所述快照單元用于指示當前處理對應(yīng)數(shù)據(jù)的數(shù)據(jù)處理模塊；

任一個數(shù)據(jù)處理模塊還用于當所述任一個數(shù)據(jù)處理模塊宕機并重啟后，基于所述第二存儲源中的快照單元，恢復(fù)對宕機前處理的數(shù)據(jù)進行數(shù)據(jù)處理。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集系統(tǒng)中第一個數(shù)據(jù)處理模塊還用于在所述數(shù)據(jù)源的不同數(shù)據(jù)之間插入欄柵消息，將相鄰兩個欄柵消息之間的所有數(shù)據(jù)作為一個快照單元，將所述快照單元存儲至所述第二存儲源中，其中所述欄柵消息用于指示快照單元的起始點或結(jié)束點。

9.根據(jù)權(quán)利要求7或8所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集系統(tǒng)中任一個數(shù)據(jù)處理模塊還用于在處理任一數(shù)據(jù)的過程中，向所述第二存儲源中所述數(shù)據(jù)所屬的快照單元添加所述數(shù)據(jù)處理模塊的標識。

10.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述第一個數(shù)據(jù)處理模塊還用于當所述第一個數(shù)據(jù)處理模塊所在的節(jié)點設(shè)備滿足所述預(yù)設(shè)條件時，降低從所述數(shù)據(jù)源中獲取數(shù)據(jù)的速度。