[發明專利]一種數據處理方法、裝置及系統

在審

• 申請號: 201910943914.4
• 申請日: 2019-09-30
• 公開（公告）號: CN110708375A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 蔡猛
• 申請（專利權）人: 恩億科(北京)數據科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 11262 北京安信方達知識產權代理有限公司
• 代理人: 王康;栗若木

1.一種數據處理方法，其特征在于，應用于由來自多個云平臺中的節點主機組成的數據處理系統中，包括：

主節點主機通過預先設置的數據訪問接口獲取來自所述數據處理系統外部請求方的待處理數據的所屬目標文件的標識以及數據處理內容；

所述主節點主機根據預先存儲的從節點主機的標識與從節點主機中所存儲文件的標識的對應關系中獲取與所述目標文件的標識對應的從節點主機的標識；

所述主節點主機向與獲得的從節點主機的標識對應的從節點主機發送所述待處理數據的數據處理內容；

所述主節點主機獲取來自所述從節點主機根據所述數據處理內容獲得的數據處理結果，并將所述數據處理結果通過所述數據訪問接口返回給所述請求方。

2.根據權利要求1所述的方法，其特征在于，所述數據處理包括：數據讀取、數據寫入和數據計算；

當所述數據處理為數據計算，所述主節點主機根據預先存儲的從節點主機的標識與從節點主機中所存儲文件的標識的對應關系中獲取與目標文件的標識對應的從節點主機的標識之后，且所述主節點主機向與獲得的從節點主機的標識對應的從節點主機發送待處理數據的數據處理內容之前，還包括：

所述主節點主機獲取與獲得的從節點主機的標識對應的從節點主機的計算資源容量；

所述主節點主機向與獲得的從節點主機的標識對應的從節點主機發送待處理數據的數據處理內容，包括：

當與獲得的從節點主機的標識對應的從節點主機的計算資源容量大于預設閾值時，所述主節點主機向與獲得的從節點主機的標識對應的從節點主機發送所述待處理數據的數據處理內容。

3.根據權利要求2所述的方法，其特征在于，當所述與獲得的從節點主機的標識對應的從節點主機的計算資源容量小于所述預設閾值時，還包括：

所述主節點主機獲取所述待處理數據所屬節點主機所在的目標地理位置；

所述主節點主機獲取計算資源容量大于所述預設閾值且所在地理位置與所述目標地理位置最近的從節點主機的標識；

所述主節點主機向與重新獲得的從節點主機的標識對應的從節點主機發送所述待處理數據的數據處理內容。

4.根據權利要求1所述的方法，其特征在于，所述主節點主機通過預先設置的數據訪問接口獲取來自數據處理系統外部請求方的待處理數據的所屬目標文件的標識以及數據處理內容，且所述主節點主機根據預先存儲的從節點主機的標識與從節點主機中所存儲文件的標識的對應關系中獲取與目標文件的標識對應的從節點主機的標識之前，還包括：

所述主節點主機根據預先設置的請求方權限信息、所述待處理數據的所屬目標文件的標識以及數據處理內容判斷所述請求方是否具備請求權限；

所述主節點主機根據預先存儲的從節點主機的標識與從節點主機中所存儲文件的標識的對應關系中獲取與目標文件的標識對應的從節點主機的標識，包括：

當所述請求方具備所述請求權限，所述主節點主機根據預先存儲的從節點主機的標識與從節點主機中所存儲文件的標識的對應關系中獲取與所述目標文件的標識對應的從節點主機的標識。

5.一種數據處理方法，其特征在于，應用于由來自多個云平臺中的節點主機組成的數據處理系統中，包括；

從節點主機獲取來自主節點主機的待處理數據的數據處理內容；

所述從節點主機根據所述數據處理內容，采用適配于所屬云平臺的存儲協議對所述待處理數據進行處理，并生成數據處理結果；

所述從節點主機返回所述數據處理結果給所述主節點主機。

6.根據權利要求5所述的方法，其特征在于，所述數據處理包括：數據讀取、數據寫入和數據計算；

當所述數據處理為數據計算時，所述從節點主機根據數據處理內容，采用適配于所屬云平臺的存儲協議對待處理數據進行處理，并生成數據處理結果之前，還包括：

所述從節點主機獲取來自主節點主機的所述待處理數據所屬從節點主機的標識；

所述從節點主機從與獲得的從節點主機的標識對應的從節點主機中獲取所述待處理數據。