[發明專利]基于分布式的計算服務集群系統

有效

• 申請號: 201910356130.1
• 申請日: 2019-04-29
• 公開（公告）號: CN110113406B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 劉宏基
• 申請（專利權）人: 成都網闊信息技術股份有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L12/42
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 鄒敏菲

本發明公開了基于分布式的計算服務集群框架，將框架結構設計為環狀巧妙解決節點的主備問題，使得各個節點處于等效位置，框架的高效性、健壯性得到提升；完全自主開發，不依賴任何第三方程序，代碼量少，容易理解掌握；增加任務請求跟蹤模式解決了現有框架的實時性不高的問題；運維節點、分配節點、工作節點處理邏輯均與具體業務不相關，而是將具體業務處理放在由客戶自主開發的工作程序中，大大提升同一套計算框架對數據類型的適應性。本計算框架可以有效整合閑散、低效計算資源，輸出高效的計算能力，提高已有計算資源的利用率，為構建綠色環保節約型社會貢獻力量。

技術領域

本發明涉及分布式計算領域，特別涉及基于分布式的計算服務集群系統。

背景技術

目前市面上有大量的專用計算服務框架，如批處理框架Hadoop，流處理框架Storm，以及混合處理型框架Spark。

Hadoop主要依賴MapReduce引擎實現批處理，采用分布式文件系統HDFS，靠對數據塊的多副本備份來解決服務器宕機和磁盤損壞問題。

Strom會對實時進入系統的數據進行計算，很適合用來處理必須對變動或峰值做出響應并且需要關注一段時間內變化趨勢的數據。Storm流處理框架可對其中名為Topology的DAG進行編排，可以指定每個傳入的片段需要執行的不同步驟。

Spark是一種可以處理批處理任務的流處理框架，對一些特殊算法有一定針對性，另外Spark會對輸入數據進行緩存，每次計算不必重新加載，對計算加速有非常大的促進作用。

上述幾種框架就是目前比較流行的計算服務框架，都是基于主從結構對框架展開的，在細節上不同分布式計算框架的結構則重點和應用場景都有所差異。

批處理框架Hadoop嚴重依賴磁盤的持久存儲，每個任務需要執行多次的讀取和寫入操作，速度較慢。在表層提供Map和Reduce兩個操作，處理邏輯隱藏在代碼中，整體邏輯不夠清晰，處理數據時延性高，只適合批處理數據，難以處理實時數據，缺點是時延高，處理流程固定。

流處理框架Storm很適合處理對延遲需求很高的純粹流處理負載，但是無法滿足批處理要求，如果需要批處理能力則還需要配合其他軟件。缺點是依賴其他組件較多，內存控制不好，無法單獨處理批數據。

混合處理框架Spark基于對輸入數據的緩存機制，需要較大的內存，同時對數據的增量更新效率差。

總結市面現有分布式計算框架存在的技術缺點是均是基于主從結構，框架高效性有待提升。

發明內容

本發明的目的在于：提供了基于分布式的計算服務集群系統，具有對數據類型適應性很強，數據處理的實時性很高，內存操作自主控制，內存消耗量小，同時不依賴任何第三方開源組件的特點，最重要的是本計算框架數據處理邏輯清晰，代碼量小，容易掌握理解，呈環狀的框架結構，有效提升了框架的整體穩定性和高效性，解決了現有分布式計算框架均是基于主從結構，框架高效性有待提升的問題

本發明采用的技術方案如下：

基于分布式的計算服務集群系統，包括至少兩個部署了二進制程序的物理機，在所述物理機上還部署有一個運維節點、一個分配節點、一個工作節點和至少一個工作程序；所有物理機上的運維節點組成一個Hash環。本架構前置條件包括：

輸入任務具備明確可劃分的特性，才能充分顯示分布式系統的優越性，但是不可劃分任務在本框架中仍然適用；具備一套通用的異常數據處理機制；數據流每個級別都有對應的標記跟蹤任務完成情況；本框架為計算密集型架構，各個節點或節點與客戶端之間不應該具有大量數據的高速傳輸，數據通道和控制通道為全雙工模式。

框架拓撲結構為：

物理結構：每臺物理機上部署全套二進制程序，主要包括1個運維節點、1個分配節點、1個工作節點、n個工作程序。