[發明專利]一種Spark分布式計算數據處理方法及系統

有效

• 申請號: 201710742728.5
• 申請日: 2017-08-25
• 公開（公告）號: CN107526546B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 毛睿;陸敏華;陸克中;朱金彬;隋秀峰
• 申請（專利權）人: 深圳大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 王利彬

1.一種Spark分布式計算數據處理方法，其特征在于，所述方法包括：

在對用戶已標識緩存的彈性分布式數據集(RDD，Resilient Distributed Datasets)分區數據執行存儲任務時，若向Spark的內存存儲區申請空間失敗，則向驅逐邏輯單元發送驅逐所述內存存儲區可驅逐緩存數據的命令；

計算所述內存存儲區內可驅逐空間大小，若驅逐后空間大小滿足所述存儲任務對所述內存存儲區空間的要求，則根據所述內存存儲區可驅逐緩存數據訪問熱度設置基于固態硬盤(SSD，Solid State Drives)和磁盤(HDD，Hard Disk Drive)的混合存儲系統的遷移地址；

其中，所述計算所述內存存儲區內可驅逐空間大小，若驅逐后空間大小滿足所述存儲任務對所述內存存儲區空間的要求，則根據所述內存存儲區可驅逐緩存數據訪問熱度設置基于SSD和HDD的混合存儲系統的遷移地址具體包括：

所述驅逐邏輯單元接收到驅逐命令，同時所述驅逐邏輯單元向所述內存存儲區發出由于所述RDD分區數據執行存儲任務所需存儲空間不足需要驅逐空間的申請，若所述申請申請成功，則按近期最少使用算法LRU策略計算所述內存存儲區內可驅逐空間大小；

若所述內存存儲區內可驅逐空間大小大于等于所述RDD分區數據執行存儲任務需要占用空間大小，根據所述內存存儲區可驅逐緩存數據的訪問熱度設置基于SSD和HDD的混合存儲系統的遷移地址，并將所述內存存儲區可驅逐緩存數據遷移信息和所述內存存儲區可驅逐緩存數據遷移命令發送至緩存數據遷移單元；

若所述內存存儲區內可驅逐空間大小小于所述RDD分區數據執行存儲任務需要占用空間大小，則終止所述內存存儲區可驅逐緩存數據遷移任務，并反饋驅逐所述內存存儲區可驅逐緩存數據失敗信號；

讀取并釋放所述內存存儲區內可驅逐緩存數據，遷移所述內存存儲區內可驅逐緩存數據到所述遷移地址，修改所述內存存儲區內可驅逐緩存數據持久化級別，反饋驅逐成功信號及驅逐信息。

2.根據權利要求1所述的方法，其特征在于，所述若向Spark內存存儲區申請空間失敗，則向驅逐邏輯單元發送驅逐所述內存存儲區可驅逐緩存數據的命令具體包括：

計算對RDD分區數據執行存儲任務所占用所述內存存儲區空間的大小，向所述 Spark的內存存儲區申請空間，并將所述存儲任務所占用所述內存存儲區空間的大小與所述內存存儲區未占用空間作比較，若所述存儲任務所占用所述內存存儲區空間的大小大于所述內存存儲區未占用空間，則向所述Spark的內存存儲區申請空間失敗，同時向所述驅逐邏輯單元發送驅逐所述內存存儲區可驅逐緩存數據的命令以及發送所述存儲任務需要占用所述內存存儲區空間的大小。

3.根據權利要求1所述的方法，其特征在于所述根據所述內存存儲區可驅逐緩存數據的訪問熱度設置基于SSD和HDD的混合存儲系統的遷移地址具體包括：

若所述內存存儲區可驅逐緩存數據訪問熱度在第一預置熱度數值范圍內，則讀取SSD地址并將讀取到的SSD地址設置為所述遷移地址；

若所述內存存儲區可驅逐緩存數據訪問熱度在第二預置熱度數值范圍內，則讀取HDD地址并將讀取到的HDD地址設置為所述遷移地址；

所述在第一預置熱度數值大于所述第二預置熱度數值。

4.根據權利要求1所述的方法，其特征在于，所述讀取并釋放所述內存存儲區內可驅逐緩存數據，遷移所述內存存儲區內可驅逐緩存數據到所述遷移地址具體包括：

緩存數據遷移單元接收到所述內存存儲區可驅逐緩存數據遷移信息和所述內存存儲區可驅逐緩存數據遷移命令后，將所述內存存儲區可驅逐數據按所述遷移信息存儲到SSD或HDD，并向所述驅逐邏輯單元發送所述內存存儲區可驅逐緩存數據遷移完成信號；

其中所述內存存儲區可驅逐數據遷移信息具體包括：所述內存存儲區可驅逐緩存數據地址、所述內存存儲區可驅逐緩存數據空間大小以及所述遷移地址。