[發明專利]數據處理方法和裝置

有效

• 申請號: 202110609634.7
• 申請日: 2021-06-01
• 公開（公告）號: CN113392252B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 謝超;李云梅;易小萌;郭人通;魏一
• 申請（專利權）人: 上海徐毓智能科技有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F16/583;G06F16/587;G06F16/53;G06F16/538;G06F9/46;G06F16/23
• 代理公司: 北京睿派知識產權代理有限公司 11597
• 代理人: 劉鋒

本發明實施例公開了一種數據處理方法和裝置，通過按順序確定待處理任務，并按照接收順序依次確定各待處理任務對應的任務類型，以及為各待處理任務分配對應的時間戳。根據對應的時間戳和任務類型依次處理各待處理任務。其中，待處理任務的任務類型為查詢任務時，先拆分各待處理任務得到多個子任務，再分別根據對應的時間戳分別處理各子任務。本發明實施例基于時間戳和任務類型處理任務，保證了頻繁任務處理時的有序性和數據一致性。同時，通過將查詢任務拆分為多個子任務處理的方式應對復雜的查詢場景。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據處理方法和裝置。

背景技術

現有的任務處理系統目前都是針對某一特定場景或者某類單一數據的查詢或編輯。比如基于傳統的關系型數據庫實現的任務處理系統是對結構化數據的讀寫和檢索，基于Lucene或ElasticSearch等任務處理引擎實現的對文本的全文任務處理技術。這些任務處理系統能夠覆蓋的任務處理場景相對比較單一，無法滿足一些復雜的任務處理需求。

發明內容

有鑒于此，本發明實施例提供了一種數據處理方法和裝置，旨在應對復雜場景下的任務處理，同時保證了頻繁任務處理時的有序性和數據一致性。

第一方面，本發明實施例提供了一種數據處理方法，所述方法包括：

按順序確定待處理任務；

分別確定各所述待處理任務對應的任務類型；

根據確定順序依次為各所述待處理任務分配對應的時間戳；

根據對應的時間戳和任務類型依次處理各所述待處理任務；

其中，所述根據對應的時間戳和任務類型依次處理各所述待處理任務包括：

響應于所述待處理任務對應的任務類型為查詢任務，拆分所述待處理任務得到多個子任務；

根據對應的時間戳分別處理各所述子任務，各所述子任務的處理方式為通過多線程并行處理。

進一步地，所述分別確定各所述待處理任務對應的任務類型包括：

確定各所述待處理任務對應的數據庫語言；

響應于所述數據庫語言為數據操控語句或數據定義語句，確定所述待處理任務為編輯任務；

響應于所述數據庫語言為數據查詢語句，確定所述待處理任務為查詢任務。

進一步地，所述根據對應的時間戳和任務類型依次處理各所述待處理任務還包括：

響應于對應的任務類型為編輯任務，根據對應的時間戳順序將所述待處理任務記錄在任務日志中；

依次處理所述任務日志中的各所述編輯任務。

進一步地，所述依次處理所述任務日志中的各所述編輯任務包括：

確定任務日志中最先記錄的待處理編輯任務為目標編輯任務；

確定目標編輯任務對應的至少一個數據對象；

為各所述數據對象分別分配對應的線程；

通過各所述線程并行執行所述目標編輯任務，以分別編輯對應的數據對象。

進一步地，各所述數據對象具有對應的時間狀態；

所述依次處理所述任務日志中的各所述編輯任務還包括：

響應于對應的數據對象編輯完成，根據所述目標編輯任務的時間戳更新所述數據對象的時間狀態。

進一步地，所述方法還包括：

以預設頻率查詢所述任務日志中最近一次記錄的編輯任務對應的時間戳；