[發明專利]一種基于微服務框架的綜采工作面數據中臺的節點管控方法

在審

• 申請號: 202110114135.0
• 申請日: 2021-01-27
• 公開（公告）號: CN113890876A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 賀鑫;李旭;沈超;董博;李世輝
• 申請（專利權）人: 賀鑫
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/06;H04L67/51;H04L67/55;H04L9/40;H04L9/32
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李紅霖

本發明公開了一種基于微服務框架的綜采工作面數據中臺的節點管控方法，本發明以數據中臺為基礎，打破現有技術壁壘。實時接收多系統的不同數據源中的數據，通過將各模塊數據統一獲取、處理并存儲于數據中臺，保證數據資源的準確性和完整性。當某個子系統需要使用該部分資源時，直接從數據中臺調用，保證了數據使用的高效性和準確性。

技術領域

本發明屬于節點管控領域，具體涉及一種基于微服務框架的綜采工作面數據中臺的節點管控方法。

背景技術

隨著互聯網的發展和輕量級運行技術的發展，越來越多的微服務框架也開始出現，然而目前常見的服務框架中，業務代碼耦合嚴重，這將直接影響到代碼的可維護性和可擴展性，導致開發人員在業務開發時，不得不去關注很多不必要的技術細節，諸如網絡連接，代碼解析結果等，從而降低了業務開發效率和代碼質量。

現階段礦井各子系統數據獲取主要依靠自身，由于各子系統獲取數據途徑不同導致數據處理程度、數據處理精度和數據統計結果均不相同，為了打破現有技術壁壘，方便各子系統數據獲取，及保證獲取數據的準確性和完整性，提出本技術方案。

發明內容

本發明的目的在于克服上述不足，提供一種基于微服務框架的綜采工作面數據中臺的節點管控方法，實現高可用。

為了達到上述目的，本發明包括以下步驟：

S1，多系統實時接收不同數據源的數據；

S2，當接入的數據量超過Nginx負載均衡配置策略時，觸發Round-Robin調度算法對數據指定輕負載IP服務節點進行數據分發；

S3，根據系統的數據壓力，動態加強數據網關控制及負載均衡的能力；

S4，鑒權系統對數據分配權限，并將數據儲于特定數據存儲單元。

S1通過Hadoop大數據集群中心處理，Hadoop大數據集群中心用于對多源、多方式接入的數據做統一集中歸納、計算、編排和存儲等，最終形成完整的數據。

Hadoop大數據集群中心的接收的數據包括以下方式導入：

通過KaFka數據直接接入，利用Flink內提前規劃好的針對于不同數據不同結構的業務處理算法，對數據進行一次統計、分析和處理，并存入數倉內；

各系統內的業務數據、日志數據、操作數據和高可用備份數據利用Flink接入，根據其發送到數據報文，對數據進行分類、編排和存儲，建立具備數據高密度、高復用率的數倉。

Flink內根據配置心中所提前規劃好的算法和腳本，應用于各數據源各數據報文的標識。

Hadoop大數據集群中心采用節點高可用方式的進行HA全分布式部署。

S2中，通過KaFka數據采集系統進行同一數據訂閱分發，KaFka數據采集系統對處理過后的數據進行的分發的方法如下：

數據將被傳輸至數倉內，作為實時數據存儲；

實時數據在存儲時根據配置中心靜態獲取的策略配置；

對實時數據進行范圍性對數據進行打包，并重新賦予數據標識；

根據數據標識在Hbase內建立數據索引目錄，并將需要展示的數據放在Mysql中。

S2中，通過KaFka數據采集系統進行同一數據訂閱分發，KaFka數據采集系統對處理過后的數據進行的分發的方法如下：

侵入式接入時，修改其接入系統內部代碼；

數據輸入到監測服務組建中，由組件進行數據在其系統內容的分發和權限控制，同時監測數據傳輸周期；