[發明專利]一種提高大數據上并行連接性能的負載平衡方法

在審

• 申請號: 201610019840.1
• 申請日: 2016-01-13
• 公開（公告）號: CN105701209A
• 公開（公告）日: 2016-06-22
• 發明（設計）人: 葛微;李先賢;王利娥
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/50
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 劉梅芳

1.一種提高大數據上并行連接性能的負載平衡方法，包括如下步驟：

將海量數據按照查詢結果初始化劃分成數據塊：首先將每次查詢的結果“聚集成塊”來 劃分數據，管理數據塊的元數據記錄該數據塊在連接屬性上的取值范圍，即一個連續范圍 的起止值；劃分后的數據塊包括連接屬性上符合查詢條件的多個參加連接的表數據，數據 只有等到第一次被查詢到時才會被劃分成塊，并以數據塊的方式組織管理；

記錄數據塊的訪問比率、累積數據塊的熱度、計算平均訪問占比率：當查詢對數據塊的 訪問是全部命中時，數據塊的熱度累加1，當查詢對數據塊的訪問是部分命中時，數據的熱 度累加一個0-1之間的值，即數據塊被訪問的百分比；

訪問占比率=本次訪問數據塊中的記錄條數/數據塊的記錄總數；

數據塊的熱度=；

平均訪問占比率=/數據塊的被訪問次數；

根據數據塊的平均訪問占比率對數據塊的劃分進行自適應調整：每次數據訪問都需要 記錄被訪問數據塊的訪問占比率，以此來衡量數據劃分和查詢請求的擬合程度，根據查詢 請求的擬合程度來觸發數據塊的合并、分裂；

將數據均勻地分布到集群各節點上，使得各個節點上分布的數據熱度總和及存儲空間 總和保持基本平衡，按照熱度做查詢任務的負載平衡；

任務被均衡地分布到集群各節點，連接查詢請求在集群各節點上執行，最后匯總連接 結果并返回客戶端。