[發(fā)明專利]數(shù)據(jù)匯聚方法、裝置、設備、存儲介質(zhì)和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811205313.5
• 申請日: 2018-10-16
• 公開（公告）號: CN111064591B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設計）人: 王輝;李冰杰;徐志威
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責任公司 11138
• 代理人: 韓東艷

本發(fā)明公開了一種數(shù)據(jù)匯聚方法、裝置、設備、存儲介質(zhì)和系統(tǒng)，屬于大數(shù)據(jù)技術(shù)領(lǐng)域。該方法應用于第一數(shù)據(jù)匯聚系統(tǒng)的控制設備中，該方法包括：獲取多個虛擬節(jié)點的配置信息；根據(jù)接收到的數(shù)據(jù)匯聚指令確定起始虛擬節(jié)點和目的虛擬節(jié)點，并根據(jù)該多個虛擬節(jié)點的配置信息和每個虛擬節(jié)點對應的節(jié)點設備，確定從起始節(jié)點設備到達目的節(jié)點設備的傳輸通道，向該傳輸通道的每個節(jié)點設備下發(fā)傳輸通道，由傳輸通道上的每個節(jié)點設備進行數(shù)據(jù)傳輸，將起始節(jié)點設備的數(shù)據(jù)匯聚到目的節(jié)點設備中。通過輸入的配置指令即可自定義配置信息，能夠根據(jù)業(yè)務需求對配置信息進行更新，從而更改數(shù)據(jù)匯聚系統(tǒng)中的節(jié)點設備，擴展了數(shù)據(jù)匯聚系統(tǒng)的業(yè)務能力，提高了靈活性。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)匯聚方法、裝置、設備、存儲介質(zhì)和系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展和網(wǎng)絡規(guī)模的不斷擴大，數(shù)據(jù)的收集匯聚已成為備受關(guān)注的問題。由于在實際的網(wǎng)絡中，各個服務器分散部署，導致各個服務器上的數(shù)據(jù)相互孤立，無法進行統(tǒng)一的數(shù)據(jù)管理，因此需要將不同服務器上的數(shù)據(jù)進行匯聚。

相關(guān)技術(shù)提供了一種基于Apache Flume(日志采集)框架進行數(shù)據(jù)匯聚的方式，數(shù)據(jù)匯聚系統(tǒng)中包括至少一個收集服務器和至少一個匯聚服務器，每個收集服務器與一個或多個匯聚服務器連接。并且在每個收集服務器上安裝Apache Flume框架的客戶端，在每個匯聚服務器上安裝Apache Flume框架的匯聚端，則收集服務器與匯聚服務器可以基于Apache Flume框架進行交互。多個終端設備分別與一個或多個收集服務器連接，每個終端設備可以將獲取到的數(shù)據(jù)上傳至連接的收集服務器中，由收集服務器對接收到的數(shù)據(jù)進行分類收集，并將收集到的數(shù)據(jù)發(fā)送給匯聚服務器，匯聚服務器即可存儲收集到的數(shù)據(jù)，實現(xiàn)了將不同終端設備上的數(shù)據(jù)匯聚在一起的功能。

但是，由于數(shù)據(jù)匯聚系統(tǒng)中的收集服務器和匯聚服務器配置好以后將無法更改，擴展性能差，即使存在其他具有數(shù)據(jù)收集功能的服務器，也無法加入到數(shù)據(jù)匯聚系統(tǒng)中。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)匯聚方法、裝置、設備、存儲介質(zhì)和系統(tǒng)，可以解決其他具有數(shù)據(jù)收集功能的服務器無法加入到數(shù)據(jù)匯聚系統(tǒng)中的問題。所述技術(shù)方案如下：

第一方面，提供了一種數(shù)據(jù)匯聚方法，應用于第一數(shù)據(jù)匯聚系統(tǒng)的控制設備中，所述第一數(shù)據(jù)匯聚系統(tǒng)包括多個節(jié)點設備和所述控制設備，所述控制設備分別與所述多個節(jié)點設備連接，所述方法包括：

獲取多個虛擬節(jié)點的配置信息，所述配置信息根據(jù)在所述配置設備上輸入的配置指令確定，所述配置信息至少包括輸入設備的設備標識和輸出設備的設備標識，所述多個虛擬節(jié)點與所述多個節(jié)點設備一一對應；

當接收到包括起始節(jié)點設備的設備標識和目的節(jié)點設備的設備標識的數(shù)據(jù)匯聚指令時，基于所述數(shù)據(jù)匯聚指令，確定所述起始節(jié)點設備對應的起始虛擬節(jié)點和所述目的節(jié)點設備對應的目的虛擬節(jié)點；

根據(jù)所述多個虛擬節(jié)點的配置信息以及每個虛擬節(jié)點對應的節(jié)點設備，確定從所述起始節(jié)點設備到達所述目的節(jié)點設備的傳輸通道，所述傳輸通道由至少兩個節(jié)點設備按照順序連接而成；

向所述傳輸通道上的每個節(jié)點設備下發(fā)所述傳輸通道，由所述傳輸通道上的每個節(jié)點設備進行數(shù)據(jù)傳輸，將所述起始節(jié)點設備的數(shù)據(jù)匯聚到所述目的節(jié)點設備中。

可選地，所述獲取多個虛擬節(jié)點的配置信息之后，所述方法還包括：

對于所述多個虛擬節(jié)點中的任兩個虛擬節(jié)點，當其中一個虛擬節(jié)點的輸出設備的設備標識與另一個虛擬節(jié)點的輸入設備的設備標識相同時，將所述任兩個虛擬節(jié)點連接，得到虛擬拓撲結(jié)構(gòu)，所述虛擬拓撲結(jié)構(gòu)由所述多個虛擬節(jié)點連接構(gòu)成，且所述虛擬拓撲結(jié)構(gòu)用于描述所述多個節(jié)點設備的連接關(guān)系；

所述根據(jù)所述多個虛擬節(jié)點的配置信息以及每個虛擬節(jié)點對應的節(jié)點設備，確定從所述起始節(jié)點設備到達所述目的節(jié)點設備的傳輸通道，包括：