[發明專利]數據分發方法、服務器及計算機可讀存儲介質

在審

• 申請號: 202010062377.5
• 申請日: 2020-01-19
• 公開（公告）號: CN111274052A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 任練
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/2455
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及一種數據處理技術，揭露了一種數據分發方法，該方法包括：通過定時任務調度平臺啟動數據處理任務；查詢所述數據處理任務所處理的數據對應的所有機構信息；根據所述機構信息將所述數據處理任務按機構進行劃分，生成多個子任務；將所述多個子任務發送至消息隊列，從而分發到不同客戶端進行并發處理；接收并記錄各個客戶端對所述多個子任務的處理結果。本發明還提供一種服務器及計算機可讀存儲介質。本發明提供的數據分發方法、服務器及計算機可讀存儲介質能夠按機構將數據處理任務進行合理的劃分，分發至不同的客戶端并發處理，提高資源利用率和處理效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據分發方法、服務器及計算機可讀存儲介質。

背景技術

傳統的數據庫例如oracle，可以通過存儲過程進行大量數據的計算與加工，但是會產生復雜、冗余、繁瑣的代碼，并且后期維護難度較大，同時對人員的技能要求較高，這容易造成無法及時響應業務需求、無法達到快速迭代的目標實現。并且，數據庫是串行程序，無法對大量數據進行并發處理，導致資源利用率低、耗時久。另外，數據庫服務經過數十年的使用驗證，在數據可靠性、事務等方面比較出眾，但是高昂的費用使得一般中小企業無法持續使用。

目前業界會使用微服務架構結合數據庫存儲來進行數據處理。對于微服務架構來說，數據分發能力是代表架構能否高可用、服務能否橫向擴展的重要衡量指標，如何進行數據分發是目前微服務架構領域需要考慮的重要內容。

發明內容

有鑒于此，本發明提出一種數據分發方法、服務器及計算機可讀存儲介質，以解決至少一個上述技術問題。

首先，為實現上述目的，本發明提出一種數據分發方法，該方法包括步驟：

通過定時任務調度平臺啟動數據處理任務；

查詢所述數據處理任務所處理的數據對應的所有機構信息；

根據所述機構信息將所述數據處理任務按機構進行劃分，生成多個子任務；

將所述多個子任務發送至消息隊列，從而分發到不同客戶端進行并發處理；及

接收并記錄各個客戶端對所述多個子任務的處理結果。

可選地，該方法還包括步驟：

監控所述消息隊列的處理進度，當所述消息隊列中有消息在客戶端的執行出現問題時，針對出現問題的消息對應的單個子任務進行實時調整優化。

可選地，該方法還包括步驟：

監控已注冊的客戶端數量，根據所述客戶端數量調整所述消息隊列的大小。

可選地，該方法還包括步驟：

記錄所述消息隊列中每條消息的消費軌跡，作為每個機構數據處理的歷史記錄，以供后續進行回溯或優化分析。

可選地，所述根據所述機構信息將所述數據處理任務按機構進行劃分，生成多個子任務的步驟包括：

根據所述機構信息將每個機構對應的數據劃分為一個子任務。

可選地，當所述數據處理任務對應的機構分為多個層次時，按最低層次的機構劃分所述數據處理任務。

可選地，所述將所述多個子任務發送至消息隊列，從而分發到不同客戶端進行并發處理的步驟包括：

將各個子任務分別作為一個消息，發送至所述消息隊列，供客戶端集群從所述消息隊列上拉取消息進行消費，從而處理所述消息對應的子任務。

可選地，所述當所述消息隊列中有消息在客戶端的執行出現問題時，針對出現問題的消息對應的單個子任務進行實時調整優化的步驟包括：