[發明專利]海量數據下并行Skyline處理方法及系統

有效

• 申請號: 201910543347.3
• 申請日: 2019-06-21
• 公開（公告）號: CN110245022B
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 魯芹;梁心美;李名玉
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/38
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李圣梅

本公開提出了海量數據下并行Skyline處理方法及系統，包括：分配web數據到worker節點：將web數據上傳到HDFS中，通過Hadoop的文件系統HDFS將數據進行切分，將切分的數據塊分配到worker節點，以進行并行計算；worker節點進行Skyline計算：通過本地Skyline計算階段得到本地候選Skyline服務，然后將每個本地Skyline候選服務通過網絡傳送到master主節點，經過master節點Skyline計算，最終得到全局Skyline服務；master節點Skyline計算：匯總所有worker節點的候選Skyline服務，再次通過改進的Skyline算法，將所有的數據分成4個區域，這樣得到全局Skyline服務。將傳統的Skyline算法進行改進，將服務集合進行區域劃分，大量減少了不具有支配關系的數據點，節省了內存的占用，并將改進的Skyline算法通過Spark平臺實現了并行化。

技術領域

本公開涉及計算機技術領域，特別是涉及海量數據下并行Skyline處理方法及系統。

背景技術

隨著服務計算的飛速發展，功能屬性相同、非功能屬性不同的服務越來越多，傳統的web服務選擇方法在處理海量數據時面臨很大的挑戰，如何從海量web服務數據中快速有效的找出能滿足不同用戶需求的web服務，成為一個亟待解決的問題。

另外，隨著互聯網技術的飛速發展，產生了海量的互聯網數據，如何從海量的互聯網數據中挖掘出有價值的數據已成為急需解決的問題。Hadoop和Spark大數據平臺就是在這種背景下誕生的，Hadoop主要是基于磁盤的運算，將中間結果存入磁盤。而Spark主要是基于內存的計算，引入了RDD的數據模型，在算法的迭代速度上遠超Hadoop，Spark從誕生之后迅速成為學者的研究重點。

發明內容

本說明書實施方式的目的是提供海量數據下并行Skyline處理方法，獲得的全局Skyline服務不被其他任何數據所支配，而且能很好地反映整個數據集的分布情況，所以可以從這些全局Skyline服務中選擇滿足不同要求的web服務。

本說明書實施方式提供海量數據下并行Skyline處理方法，通過以下技術方案實現：

包括：

分配web數據到worker節點：將web數據上傳到HDFS中，通過Hadoop的文件系統HDFS將數據進行切分，將切分的數據塊分配到worker節點，以進行并行計算；

worker節點進行Skyline計算：通過本地Skyline計算階段得到本地候選Skyline服務，然后將每個本地Skyline候選服務通過網絡傳送到master主節點，經過master節點Skyline計算，最終得到全局Skyline服務；

master節點Skyline計算：匯總所有worker節點的候選Skyline服務，再次通過改進的Skyline算法，將所有的數據分成4個區域，將區域1和區域3的數據點進行合并，通過Spark算子將Bitmap算法邏輯寫入，計算區域1和區域3最終Skyline point，這樣得到全局Skyline服務。

進一步的技術方案，通過解析得到QoS向量集合，然后根據某種分配策略生成web服務對應的key，整個web服務數據就會被分成不同的組，具有相同key值的組的web數據被分配到同一個節點進行Skyline point計算。

進一步的技術方案，本地Skyline計算部分處理分配到的web服務數據，通過Spark的算子，找出本地Skyline服務數據中QoS屬性最小的點，這個點是Skyline point，然后在最小點處只進行一次區域劃分。

進一步的技術方案，將數據集劃分成4個區域，其中區域1和區域3的數據支配區域2和區域4，合并最終的計算區域，將區域1和區域3的數據點進行合并，通過Spark算子將Bitmap算法邏輯寫入，計算區域1和區域3的最終Skyline point點。