[發明專利]海量數據下并行Skyline處理方法及系統

有效

• 申請號: 201910543347.3
• 申請日: 2019-06-21
• 公開（公告）號: CN110245022B
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 魯芹;梁心美;李名玉
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/38
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李圣梅

1.海量數據下并行Skyline處理方法，其特征是，包括：

分配web數據到worker節點：將web數據上傳到HDFS中，通過Hadoop的文件系統HDFS將數據進行切分，將切分的數據塊分配到worker節點，以進行并行計算；

worker節點進行Skyline計算：通過本地Skyline計算階段得到本地候選Skyline服務，然后將每個本地Skyline候選服務通過網絡傳送到master主節點，經過master節點Skyline計算，最終得到全局Skyline服務；本地Skyline計算部分處理分配到的web服務數據，通過Spark的算子，找出本地Skyline服務數據中QoS屬性最小的點，這個點是Skyline point，然后在最小點處只進行一次區域劃分；將數據集劃分成4個區域，其中區域1和區域3的數據支配區域2和區域4，合并最終的計算區域，將區域1和區域3的數據點進行合并，通過Spark算子將Bitmap算法邏輯寫入，計算區域1和區域3的最終Skyline point點；

master節點Skyline計算：匯總所有worker節點的候選Skyline服務，再次通過改進的Skyline算法，將所有的數據分成4個區域，將區域1和區域3的數據點進行合并，通過Spark算子將Bitmap算法邏輯寫入，計算區域1和區域3最終Skyline point，這樣得到全局Skyline服務。

2.如權利要求1所述的海量數據下并行Skyline處理方法，其特征是，通過解析得到QoS向量集合，然后根據某種分配策略生成web服務對應的key，整個web服務數據就會被分成不同的組，具有相同key值的組的web數據被分配到同一個節點進行Skyline point計算。

3.如權利要求1所述的海量數據下并行Skyline處理方法，其特征是，將全局Skyline服務輸出給用戶進行選擇。

4.海量數據下并行Skyline處理系統，其特征是，包括：

web數據到worker節點分配模塊：將web數據上傳到HDFS中，通過Hadoop的文件系統HDFS將數據進行切分，將切分的數據塊分配到worker節點，以進行并行計算；

worker節點進行Skyline計算模塊：通過本地Skyline計算階段得到本地候選Skyline服務，然后將每個本地Skyline候選服務通過網絡傳送到master主節點，經過master節點Skyline計算，最終得到全局Skyline服務；本地Skyline計算部分處理分配到的web服務數據，通過Spark的算子，找出本地Skyline服務數據中QoS屬性最小的點，這個點是Skylinepoint，然后在最小點處只進行一次區域劃分；將數據集劃分成4個區域，其中區域1和區域3的數據支配區域2和區域4，合并最終的計算區域，將區域1和區域3的數據點進行合并，通過Spark算子將Bitmap算法邏輯寫入，計算區域1和區域3的最終Skyline point點；

master節點Skyline計算模塊：匯總所有worker節點的候選Skyline服務，再次通過改進的Skyline算法，將所有的數據分成4個區域，將區域1和區域3的數據點進行合并，通過Spark算子將Bitmap算法邏輯寫入，計算區域1和區域3最終Skyline point，這樣得到全局Skyline服務。

5.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征是，所述處理器執行所述程序時實現權利要求1-3任一所述的海量數據下并行Skyline處理方法的步驟。

6.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征是，該程序被處理器執行時實現權利要求1-3任一所述的海量數據下并行Skyline處理方法的步驟。