[發明專利]一種數據處理方法及裝置

有效

• 申請號: 202010278350.X
• 申請日: 2020-04-10
• 公開（公告）號: CN111541623B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 華德義;鄧康華;尹強;邸帥;盧道和
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: H04L47/6275
• 分類號: H04L47/6275;H04L47/6295
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 彭燕

本發明公開了一種數據處理方法及裝置，其中方法為：通過第一進程，競爭第一優先級順序中最高優先級隊列組的目標優先級隊列；所述多個優先級隊列組用于各進程共同競爭；所述各進程針對所述多個優先級隊列組均有相應的優先級順序；所述第一進程為所述各進程中的任一進程；若所述第一進程成功競爭到所述目標優先級隊列，則在第一預設時長內，通過所述第一進程，處理所述目標優先級隊列中的數據單元。上述方法應用于金融科技(Fintech)時，目標優先級隊列可能被多個進程同時競爭，充分利用了多個進程處理能力，提升了數據處理的整體效率。

技術領域

本發明涉及金融科技(Fintech)領域中的計算機軟件領域，尤其涉及一種數據處理方法及裝置。

背景技術

隨著計算機技術的發展，越來越多的技術應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對技術提出的更高的要求。目前很多消息中間件都支持基于隊列的數據處理，如Kafka，RocketMQ。

然而，目前很多隊列主要著重于數據單元如何歸入隊列，如何處理隊列中數據單元卻沒有過多考慮。雖然也有支持多隊列的消息中間件，但目前為了保證數據單元的順序遵從隊列的順序，進程和隊列均是一對一的關系。這樣難以充分利用進程處理隊列中的數據單元，舉例來說，一個隊列相應的處理進程長時間阻塞，導致隊列中的數據單元等待過久，從而導致數據處理的整體效率較低，這是一個亟待解決的問題。

發明內容

本發明提供一種數據處理方法及裝置，解決了現有技術中數據處理的整體效率較低的問題。

第一方面，本發明提供一種數據處理方法，包括：通過第一進程，競爭第一優先級順序中最高優先級隊列組的目標優先級隊列；所述第一優先級順序為所述第一進程針對多個優先級隊列組的組間優先級及組內的優先級隊列順序，其中，每個優先級隊列組對應一個優先級；所述多個優先級隊列組用于各進程共同競爭；所述各進程針對所述多個優先級隊列組均有相應的優先級順序；所述第一進程為所述各進程中的任一進程；若所述第一進程成功競爭到所述目標優先級隊列，則在第一預設時長內，通過所述第一進程，處理所述目標優先級隊列中的數據單元。

上述方法中，所述多個優先級隊列組用于各進程共同競爭，所述各進程針對所述多個優先級隊列組均有相應的優先級順序，因此可以通過多個優先級隊列組保證數據單元的處理順序，對于所述各進程中的任一進程，如第一進程，都可以基于第一進程自身針對多個優先級隊列組的組間優先級及組內的優先級隊列第一優先級順序，競爭多個優先級隊列組中最高優先級隊列組的目標優先級隊列，從而可以實現多個優先級順序下的錯峰競爭，而目標優先級隊列也可能被多個進程同時競爭，充分利用了多個進程處理能力，并在第一預設時長內，通過所述第一進程，處理所述目標優先級隊列中的數據單元，從而在保證數據單元的處理順序的基礎上，提升了數據處理的整體效率。

可選的，所述通過第一進程，競爭第一優先級順序中最高優先級隊列組的目標優先級隊列之前；還包括：通過所述第一進程，獲取隊列指針；所述隊列指針為空或者為首次失敗指針；所述首次失敗指針為上一輪消費回合中，連續多次競爭所述多個優先級隊列組的優先級隊列失敗的過程中首次競爭失敗的優先級隊列的指針；其中，消費回合指所述第一進程完整競爭所述多個優先級隊列組中每個優先級隊列組的每個優先級隊列的一個回合；所述通過第一進程，競爭第一優先級順序中最高優先級隊列組的目標優先級隊列之后；還包括：若通過所述第一進程競爭所述目標優先級隊列失敗，且消費回合的回合數大于1，且所述隊列指針指向所述目標優先級隊列，則在所述第一預設時長內，保持所述第一進程空閑；在所述第一預設時長結束后，通過所述第一進程，競爭所述目標優先級隊列。