[發明專利]數據處理方法和裝置

有效

• 申請號: 202011090166.9
• 申請日: 2020-10-13
• 公開（公告）號: CN112150035B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 劉曉立;侯宇博;李靜
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06Q10/0633
• 分類號: G06Q10/0633;G06Q10/10;G06Q40/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 薛嬌

本申請提供了一種數據處理方法和裝置，該方法包括：獲得待處理的多個數據處理任務及每個數據處理任務的歷史處理時長信息；依據數據處理任務中各工序所需的工序時長，確定多個數據處理任務的最優處理順序；按照最優處理順序，在依次處理多個數據處理任務的過程中，對于當前處理的任意一個數據處理任務，依次處理數據處理任務的多種工序；在依次處理數據處理任務的多種工序的過程中，如數據處理任務中任一種工序完成處理，則將該種工序所占用的工序處理資源分配給數據處理任務之后下一數據處理任務的該種工序，以基于該種工序對應的工序處理資源處理下一數據處理任務的該種工序。本申請的方案可以提高大批量數據文件處理的處理效率。

技術領域

本申請涉及數據處理技術領域，特別涉及一種數據處理方法和裝置。

背景技術

銀行經常需要向審計機構上報審計數據。而上報審計數據涉及將數據文件經過解壓、預處理以及加載到數據庫等處理后，按照數據加工規則形成報表數據。

其中，銀行的調度系統每天都會存在大批量的數據文件，調度系統會依次處理各個數據文件并加載入庫等。然而，如果待處理的數據文件較多，調度系統處理各個數據文件必然需要耗費較多的時間，因此，如何提高調度系統處理大批量數據文件的處理效率是本領域技術人員需要解決的技術問題。

發明內容

為解決上述技術問題，本申請提供一種數據方法和裝置，以提高大批量數據文件處理的處理效率。

為了達到如上目的，一方面，本申請提供了一種數據處理方法，包括：

獲得待處理的多個數據處理任務以及每個數據處理任務的歷史處理時長信息，其中，所述數據處理任務包括具有先后處理順序的多種工序，其中，每個數據處理任務對應待處理的一種數據文件，且，每個數據處理任務的歷史處理時長信息包括：歷史處理所述數據處理任務對應的數據文件的過程中，所述數據處理任務的各工序所需耗費的工序時長；

依據所述數據處理任務中各工序所需的工序時長，確定所述多個數據處理任務的最優處理順序；

按照所述最優處理順序，依次處理所述多個數據處理任務；

在依次處理所述多個數據處理任務的過程中，對于當前處理的任意一個數據處理任務，依次處理所述數據處理任務的多種工序，其中，每種工序利用該種工序對應的工序處理資源完成該種工序的處理；

在依次處理所述數據處理任務的多種工序的過程中，如所述數據處理任務中任一種工序完成處理，則將該種工序所占用的工序處理資源分配給所述數據處理任務之后下一數據處理任務的該種工序，以基于該種工序對應的工序處理資源處理所述下一數據處理任務的該種工序。

優選的，所述依據所述數據處理任務中各工序所需的工序時長，確定所述多個數據處理任務的最優處理順序，包括：

確定出處理所述多個數據處理任務的多種候選處理順序；

依據多個數據處理任務的并行處理規則，從所述候選處理順序中確定出最優處理順序，其中，采用所述最優處理順序處理所述多個數據處理任務所需的時間最短，所述并行處理規則為依次處理所述數據處理任務中多個工序，并在完成所述數據處理任務中任意一種工序的處理后，將所述數據處理任務中該種工序所占用的工序處理資源分配給其他數據處理任務的該工序，以并行處理不同數據處理任務的工序。

優選的，所述確定出處理所述多個數據處理任務的多種候選處理順序，包括：

構建所述多個數據處理任務的排列空間樹，所述排列空間樹表征所述多個數據處理任務對應的多種候選處理順序。

優選的，所述依據多個數據處理任務的并行處理規則，從所述候選處理順序中確定出最優處理順序，包括：

依據所述多個數據處理任務的并行處理規則，并結合分支界限法，確定所述排列空間樹的最優解，并將所述最優解對應的候選處理順序確定為最優處理順序。