[發(fā)明專利]一種用于多并行處理框架的數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201710584226.4
• 申請日: 2017-07-18
• 公開（公告）號: CN107480202B
• 公開（公告）日: 2020-06-02
• 發(fā)明（設計）人: 唐卓;劉昆昆;陳都
• 申請（專利權）人: 湖南大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/11;G06F16/2458;G06F9/54
• 代理公司: 長沙市融智專利事務所(普通合伙) 43114
• 代理人: 龔燕妮

1.一種用于多并行處理框架的數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

步驟S1：獲取使用環(huán)境的配置信息；所述配置信息用于表明應用平臺類型；

步驟S2：根據(jù)所述使用環(huán)境的配置信息和底層存儲數(shù)據(jù)屬性選擇相應的數(shù)據(jù)調用方法并調用底層存儲數(shù)據(jù)，然后通過統(tǒng)一的格式轉換方法對所獲得的底層存儲數(shù)據(jù)集中的底層存儲數(shù)據(jù)進行數(shù)據(jù)格式轉換，得到統(tǒng)一格式抽象數(shù)據(jù)集；

所述統(tǒng)一格式抽象數(shù)據(jù)集為JSON格式抽象數(shù)據(jù)集；

其中，所述底層存儲數(shù)據(jù)屬性包括存儲介質類型和存儲位置信息；

步驟S3：將所述統(tǒng)一格式抽象數(shù)據(jù)集提供給上層應用使用。

2.根據(jù)權利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述步驟S1具體包括：

步驟S1.1：將使用環(huán)境的配置信息和用于獲取所述配置信息的環(huán)境獲取方法封裝為第一個類；

步驟S1.2：通過所述第一個類提供的所述環(huán)境獲取方法獲取使用環(huán)境的配置信息。

3.根據(jù)權利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述步驟S2具體包括：

步驟S2.1：將所述底層存儲數(shù)據(jù)屬性、統(tǒng)一格式抽象數(shù)據(jù)集和用于獲取底層存儲數(shù)據(jù)屬性的屬性獲取方法、用于底層存儲數(shù)據(jù)調用操作的數(shù)據(jù)調用方法、用于格式轉換操作的格式轉換方法以及用于獲取統(tǒng)一格式抽象數(shù)據(jù)集的結果獲取方法封裝為第二個類；

步驟S2.2：通過所述屬性獲取方法獲取所需的底層存儲數(shù)據(jù)屬性，其中，所述底層存儲數(shù)據(jù)屬性包括存儲介質類型和存儲位置信息；

步驟S2.3：根據(jù)步驟S1獲取的使用環(huán)境的配置信息和步驟S2.2獲取的所述底層存儲數(shù)據(jù)屬性，確定數(shù)據(jù)調用方法，調取底層存儲數(shù)據(jù)，并通過統(tǒng)一的格式轉換方法對所獲得的底層存儲數(shù)據(jù)集中的底層存儲數(shù)據(jù)進行數(shù)據(jù)格式轉換，得到統(tǒng)一格式抽象數(shù)據(jù)集。

4.根據(jù)權利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述步驟S3具體為：

通過步驟S2提供的所述結果獲取方法獲取所述統(tǒng)一格式抽象數(shù)據(jù)集，并將所述統(tǒng)一格式抽象數(shù)據(jù)集提供給上層應用使用。

5.一種用于多并行處理框架的數(shù)據(jù)處理裝置，其特征在于，包括以下單元：

環(huán)境獲取單元，用于獲取使用環(huán)境的配置信息；所述配置信息用于表明應用平臺類型；

格式轉換單元，用于根據(jù)所述使用環(huán)境的配置信息和底層存儲數(shù)據(jù)屬性選擇相應的數(shù)據(jù)調用方法并調用底層存儲數(shù)據(jù)，然后通過統(tǒng)一的格式轉換方法對所需調用的底層存儲數(shù)據(jù)集中的底層存儲數(shù)據(jù)進行數(shù)據(jù)格式轉換，得到統(tǒng)一格式抽象數(shù)據(jù)集；

所述統(tǒng)一格式抽象數(shù)據(jù)集為JSON格式抽象數(shù)據(jù)集；

其中，所述底層存儲數(shù)據(jù)屬性包括存儲介質類型和存儲位置信息；

數(shù)據(jù)傳遞單元，用于將所述統(tǒng)一格式抽象數(shù)據(jù)集提供給上層應用使用。

6.根據(jù)權利要求5所述的數(shù)據(jù)處理裝置，其特征在于，所述環(huán)境獲取單元具體用于：

將使用環(huán)境的配置信息和用于獲取所述配置信息的環(huán)境獲取方法封裝為第一個類；

通過所述第一個類提供的所述環(huán)境獲取方法獲取使用環(huán)境的配置信息。

7.根據(jù)權利要求6所述的數(shù)據(jù)處理裝置，其特征在于，所述格式轉換單元具體用于：

將所述底層存儲數(shù)據(jù)屬性、統(tǒng)一格式抽象數(shù)據(jù)集和用于獲取底層存儲數(shù)據(jù)屬性的屬性獲取方法、用于底層存儲數(shù)據(jù)調用操作的數(shù)據(jù)調用方法、用于格式轉換操作的格式轉換方法以及用于獲取統(tǒng)一格式抽象數(shù)據(jù)集的結果獲取方法封裝為第二個類；

通過所述屬性獲取方法獲取所需的底層存儲數(shù)據(jù)屬性，其中，所述底層存儲數(shù)據(jù)屬性包括存儲介質類型和存儲位置信息；

根據(jù)獲取的使用環(huán)境的配置信息和所述底層存儲數(shù)據(jù)屬性，確定數(shù)據(jù)調用方法，調取底層存儲數(shù)據(jù)，并通過統(tǒng)一的格式轉換方法對所獲得的底層存儲數(shù)據(jù)集中的底層存儲數(shù)據(jù)進行數(shù)據(jù)格式轉換，得到統(tǒng)一格式抽象數(shù)據(jù)集。

8.根據(jù)權利要求7所述的數(shù)據(jù)處理裝置，其特征在于，所述數(shù)據(jù)傳遞單元具體用于：

通過格式轉換單元提供的所述結果獲取方法獲取所述統(tǒng)一格式抽象數(shù)據(jù)集，并將所述統(tǒng)一格式抽象數(shù)據(jù)集提供給上層應用使用。