[發明專利]一種基于多服務節點的數據處理系統及其方法

在審

• 申請號: 201711351890.0
• 申請日: 2017-12-15
• 公開（公告）號: CN108111590A
• 公開（公告）日: 2018-06-01
• 發明（設計）人: 黃仁高
• 申請（專利權）人: 安徽長泰信息安全服務有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 馮子玲

本發明公開了一種基于多服務節點的數據處理系統及其方法。涉及多服務節點數據處理系統及其方法技術領域。包括干接口機、ETL服務器集群；ETL服務器集群包括若干ETL服務器；若干接口機與ELT服務器集群通信連接；接口機通過以太網接收數據源數據；數據源數據由若干客戶端發送數據；任意兩接口機間通過以太網通信連接；接口機內均設有ETL服務器集群中ETL服務器信息表；ETL服務器根據主要處理的數據不同分為不同的種類；ETL服務器內均設有ETL服務器集群中同類ETL服務器信息表。本發明通過ETL服務器集群中對ETL服務器分類并采用ETL服務器信息表、同類ETL服務器列表，實現了對ETL服務器集群中ETL服務器合理安排，解決了現有接口機與ETL服務器負載不平衡的問題。

技術領域

本發明屬于多服務節點數據處理系統及其方法技術領域，特別是涉及一種基于多服務節點的數據處理系統及其方法。

背景技術

ETL服務器負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

ETL服務器接收接口機傳遞數據后進行數據處理，ETL處理器處理數據的速度有常采用多節點分布處理；然而ETL服務器的負載均衡問題是我們亟待解決的問題。

本發明致力于發明一種基于多服務節點的數據處理系統及其方法；以解決現有ETL服務器在處理數據時與接口機負載不均衡的問題。

發明內容

本發明的目的在于提供一種基于多服務節點的數據處理系統及其方法，通過ETL服務器集群中對ETL服務器分類并采用ETL服務器信息表、同類 ETL服務器列表，實現了對ETL服務器集群中ETL服務器合理安排，解決了現有接口機與ETL服務器負載不平衡的問題。

為解決上述技術問題，本發明是通過以下技術方案實現的：

本發明為一種基于多服務節點的數據處理系統及其方法，包括若干接口機、ETL服務器集群；所述ETL服務器集群包括若干ETL服務器；若干所述接口機與ELT服務器集群通信連接；所述接口機通過以太網接收數據源數據；所述數據源數據由若干客戶端發送數據；任意兩所述接口機間通過以太網通信連接；所述接口機內均設有ETL服務器集群中ETL服務器信息表；任意兩所述ETL服務器彼此通信連接；所述ETL服務器根據主要處理的數據不同分為不同的種類；所述ETL服務器內均設有ETL服務器集群中同類ETL服務器信息表。

優選地，所述ETL服務器信息表包含ETL服務器節點IP、處理數據類型、最大數據處理容量、剩余數據處理量；同類所述ETL服務器信息表包括ETL 服務器節點IP、最大數據處理容量、剩余數據處理量。

優選地，所述接口機接收客戶端傳遞的數據；所述接口機根據ETL服務器信息表信息、數據類型傳遞數據至對應的ETL服務器。

優選地所述ETL服務器定時傳遞剩余處理量至接口機；當ETL服務器剩余處理量大于最大數據處理容量，所述ETL服務器根據同類ETL服務器信息表傳送待處理數據至其他ETL服務器。

一種基于多服務節點的數據處理的方法，包括如下步驟：

A000：接口機接收客戶端傳遞的數據；

A001：接口機根據數據類型、ETL服務器信息表判斷是否存在ETL服務器剩余數據處理量小于最大數據處理容量；若存在，則傳遞數據至對應的 ETL服務器且執行A002；若不存在，則執行A004；

A002：ETL服務器接收數據并處理；ETL服務器更新同類ETL服務器信息表并傳遞剩余數據處理量至同類ETL服務器、接口機；

A003：同類ETL服務器更新同類ETL服務器信息表；

A004：接口機更新ETL服務器信息表并執行A001；