[發明專利]數據處理方法、裝置、系統、服務器及可讀存儲介質

有效

• 申請號: 202011268298.6
• 申請日: 2020-11-13
• 公開（公告）號: CN112468548B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 黃淋淋;李景才;王秀峰;侯廣大
• 申請（專利權）人: 蘇州智加科技有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1074;H04L67/1095
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢少真

1.一種數據處理方法，其特征在于，所述方法包括：

響應于接收到數據上傳指令，通過上傳服務器確定外部存儲設備中待上傳的目標數據；

通過所述上傳服務器獲取所述目標數據的狀態和所述上傳服務器對應的多個處理服務器的狀態，所述目標數據的狀態包括數據存儲時間和數據類型中的至少一項，處理服務器的狀態包括用于指示服務器的剩余磁盤容量的服務器的磁盤空間狀態、用于指示服務器的處理器占用情況的服務器健康狀態；

根據所述目標數據的狀態和所述多個處理服務器的狀態，通過所述上傳服務器生成上傳調度指令，其中，所述上傳調度指令用于指示所述目標數據的數據分片和每個數據分片所要上傳的指定處理服務器，所述指定處理服務器為所述多個處理服務器中的一個；

根據所述上傳調度指令，通過所述上傳服務器將所述目標數據的每個數據分片分別發送到相應的所述指定處理服務器，所述指定處理服務器用于將所述數據分片存儲在存儲服務器上；

所述通過所述上傳服務器生成上傳調度指令，包括：

所述上傳服務器根據所述目標數據的狀態，為所述目標數據的數據分片設置相應的處理順序，根據所述多個處理服務器的狀態和設置的處理順序，為每個數據分片設置相應的指定處理服務器，并生成相應的上傳調度指令；

其中，所述處理順序為基于為目標數據的狀態設置的權重信息，通過對目標數據的狀態對應的處理順序進行加權計算，得到的所述目標數據的數據分片的處理順序。

2.根據權利要求1所述的方法，其特征在于，所述響應于接收到數據上傳指令，通過上傳服務器確定外部存儲設備中待上傳的目標數據包括：

響應于所述數據上傳指令，通過所述上傳服務器對所述外部存儲設備進行掃描；

若所述外部存儲設備的格式為目標設備格式，則通過所述上傳服務器對所述外部存儲設備中的文件夾進行掃描；

通過所述上傳服務器從符合目標文件夾格式的文件夾中，確定符合目標數據格式的目標數據，作為待上傳的所述目標數據。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過所述上傳服務器獲取數據上傳記錄，所述數據上傳記錄用于記錄對應于所述目標數據的上傳事件。

4.根據權利要求3所述的方法，其特征在于，所述數據上傳記錄包括上傳任務進度、所述上傳服務器的健康情況和上傳任務日志。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

通過所述上傳服務器將所述上傳任務日志存儲至數據中心。

6.根據權利要求1所述的方法，其特征在于，所述目標數據的狀態包括數據存儲時間、數據類型和數據優先級信息中至少一項。

7.根據權利要求1所述的方法，其特征在于，所述根據所述上傳調度指令，通過所述上傳服務器將所述目標數據的每個數據分片分別發送到相應的所述指定處理服務器之后，所述方法包括：

通過所述指定處理服務器獲取待處理的目標數據的多個數據分片，所述目標數據為所述外部存儲設備上傳的數據；

通過所述指定處理服務器確定所述多個數據分片對應的后期處理任務以及所述后期處理任務的任務處理信息，所述任務處理信息用于指示所述后期處理任務的處理順序；

根據所述任務處理信息，通過所述指定處理服務器創建對應的數據處理任務，所述數據處理任務用于指示所述指定處理服務器基于所述后期處理任務的處理順序，對對應的數據分片進行后期處理。

8.根據權利要求7所述的方法，其特征在于，所述通過所述指定處理服務器確定所述多個數據分片對應的后期處理任務以及所述后期處理任務的任務處理信息包括：

通過所述指定處理服務器，在數據中心查詢所述多個數據分片對應的后期處理任務，所述數據中心用于存儲待創建的后期處理任務；

根據所述多個數據分片對應的后期處理任務，通過所述指定處理服務器確定所述后期處理任務的任務處理信息。