[發(fā)明專利]數(shù)據(jù)處理方法、節(jié)點設(shè)備、系統(tǒng)及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010531234.4
• 申請日: 2020-06-11
• 公開（公告）號: CN113806428A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計）人: 范茸;方正;柯志祥
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京太合九思知識產(chǎn)權(quán)代理有限公司 11610
• 代理人: 張愛;劉戈

1.一種數(shù)據(jù)處理系統(tǒng)，對外開放數(shù)據(jù)采集程序模塊的接口規(guī)范，所述系統(tǒng)包括：采集觸發(fā)節(jié)點、至少一個數(shù)據(jù)采集節(jié)點以及數(shù)據(jù)處理節(jié)點；其中，在所述至少一個數(shù)據(jù)采集節(jié)點上，可部署多個不同數(shù)據(jù)源各自對應(yīng)的按照所述接口規(guī)范實現(xiàn)的數(shù)據(jù)采集程序模塊；

所述采集觸發(fā)節(jié)點，用于根據(jù)目標數(shù)據(jù)源提交的數(shù)據(jù)處理任務(wù)，指示目標數(shù)據(jù)采集節(jié)點調(diào)用所述目標數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊從所述目標數(shù)據(jù)源中采集目標數(shù)據(jù)；

所述數(shù)據(jù)處理節(jié)點，用于對所述目標數(shù)據(jù)采集節(jié)點采集到的目標數(shù)據(jù)進行處理；其中，所述目標數(shù)據(jù)源是所述多個不同數(shù)據(jù)源中的任一數(shù)據(jù)源，所述目標數(shù)據(jù)采集節(jié)點是部署有所述目標數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊的數(shù)據(jù)采集節(jié)點。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，所述數(shù)據(jù)采集節(jié)點的數(shù)量為多個，同一數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊部署在兩個或兩個以上的數(shù)據(jù)采集節(jié)點上。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，在每個數(shù)據(jù)采集節(jié)點上均部署有所述多個不同數(shù)據(jù)源各自對應(yīng)的數(shù)據(jù)采集程序模塊。

4.根據(jù)權(quán)利要求2所述的系統(tǒng)，還包括：負責管理所述多個數(shù)據(jù)采集節(jié)點的資源管理節(jié)點；

所述采集觸發(fā)節(jié)點具體用于：根據(jù)所述目標數(shù)據(jù)源提交的數(shù)據(jù)處理任務(wù)，向所述資源管理節(jié)點提交數(shù)據(jù)采集請求；

所述資源管理節(jié)點還用于：從部署有所述目標數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊的兩個或兩個以上的數(shù)據(jù)采集節(jié)點中，確定目標數(shù)據(jù)采集節(jié)點，將所述數(shù)據(jù)采集請求分配給所述目標數(shù)據(jù)采集節(jié)點；

所述目標數(shù)據(jù)采集節(jié)點用于：根據(jù)所述數(shù)據(jù)采集請求，調(diào)用所述目標數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊從所述目標數(shù)據(jù)源中采集目標數(shù)據(jù)，并將所述目標數(shù)據(jù)提交給所述數(shù)據(jù)處理節(jié)點。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，所述資源管理節(jié)點在確定目標數(shù)據(jù)采集節(jié)點時，具體用于：根據(jù)負載均衡策略，從所述兩個或兩個以上的數(shù)據(jù)采集節(jié)點中確定目標數(shù)據(jù)采集節(jié)點。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，所述資源管理節(jié)點，進一步用于：根據(jù)所述目標數(shù)據(jù)源的類型和所述負載均衡策略，從所述兩個或兩個以上的數(shù)據(jù)采集節(jié)點中確定目標數(shù)據(jù)采集節(jié)點。

7.根據(jù)權(quán)利要求5或6所述的系統(tǒng)，其中，所述多個數(shù)據(jù)采集節(jié)點被所述資源管理節(jié)點劃分為多個節(jié)點集合；

所述資源管理節(jié)點，進一步用于：根據(jù)集合級的負載均衡策略，從所述多個節(jié)點集合中選擇目標節(jié)點集合；根據(jù)節(jié)點級的負載均衡策略，從所述目標節(jié)點集合中選擇目標數(shù)據(jù)采集節(jié)點。

8.根據(jù)權(quán)利要求1-6任一項所述的系統(tǒng)，所述目標數(shù)據(jù)采集節(jié)點上運行有容器，所述目標數(shù)據(jù)節(jié)點上的數(shù)據(jù)采集程序模塊部署在所述容器中；

所述目標數(shù)據(jù)采集節(jié)點具體用于：在接收到所述數(shù)據(jù)采集請求后，在所述容器中為所述目標數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊創(chuàng)建隔離運行環(huán)境，在所述隔離運行環(huán)境中調(diào)用所述目標數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊從所述目標數(shù)據(jù)源中采集目標數(shù)據(jù)。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，所述目標數(shù)據(jù)采集節(jié)點具體用于：在所述容器中，啟動沙箱進程創(chuàng)建隔離運行環(huán)境，并啟動管控進程；所述管控進程控制所述目標數(shù)據(jù)源對應(yīng)的數(shù)據(jù)采集程序模塊從所述目標數(shù)據(jù)源中采集目標數(shù)據(jù)，并將所述目標數(shù)據(jù)提交給所述數(shù)據(jù)處理節(jié)點。

10.根據(jù)權(quán)利要求1-6任一項所述的系統(tǒng)，所述數(shù)據(jù)處理節(jié)點具體用于：根據(jù)預先配置的數(shù)據(jù)校驗規(guī)則，對所述目標數(shù)據(jù)進行校驗，并輸出校驗結(jié)果。

11.根據(jù)權(quán)利要求1-6任一項所述的系統(tǒng)，還包括：

程序管理平臺，用于獲取多個不同數(shù)據(jù)源各自對應(yīng)的數(shù)據(jù)采集程序模塊，并將所述多個不同數(shù)據(jù)源各自對應(yīng)的數(shù)據(jù)采集程序模塊發(fā)布到所述數(shù)據(jù)處理系統(tǒng)中的數(shù)據(jù)采集節(jié)點上。