[發明專利]數據處理方法及裝置、數據庫架構

在審

• 申請號: 202011531210.5
• 申請日: 2020-12-22
• 公開（公告）號: CN112527844A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 韓澤耀;趙晶;喻波;王志海;安鵬
• 申請（專利權）人: 北京明朝萬達科技股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種數據處理方法，應用于數據庫架構，其特征在于，所述數據庫架構包括消息隊列模塊、數據處理模塊以及數據存儲模塊；其中，所述數據處理模塊包括消費者模塊以及緩沖池模塊；

所述方法包括：

控制所述消息隊列模塊接收業務系統的業務數據，并將業務數據傳輸至所述消費者模塊；

控制所述消費者模塊將所述業務數據傳輸至所述緩沖池模塊；

控制所述緩沖池模塊緩存所述業務數據，并在所述緩沖池模塊所緩存的數據滿足預設傳輸規則的情況下，將所述業務數據傳輸至所述數據存儲模塊。

2.根據權利要求1所述的數據處理方法，其特征在于，所述預設傳輸規則包括以下至少一項：

所述緩沖池模塊所緩存的數據條目數達到預設緩存條目數閾值；

所述緩沖池模塊所緩存的數據容量達到預設緩存容量閾值；

以及

時間到達預設傳輸周期的傳輸時間。

3.根據權利要求1所述的數據處理方法，其特征在于，所述數據存儲模塊包括連接器、優化器、分析器、執行器以及存儲引擎；

所述將所述業務數據傳輸至所述數據存儲模塊，包括：

與所述連接器建立連接，將所述業務數據傳輸至所述連接器；

控制所述連接器將所述業務數據傳輸至所述分析器；

控制所述分析器對所述業務數據進行語法分析，并將分析后的所述業務數據傳輸至所述優化器；

控制所述優化器按照預設優化規則，生成存儲所述業務數據的執行計劃；

控制所述執行器根據所述執行計劃，將所述業務數據存儲至所述存儲引擎。

4.根據權利要求1所述的數據處理方法，其特征在于，所述控制所述消息隊列模塊接收業務系統的業務數據，包括：

控制所述消息隊列模塊接收業務系統的業務數據，并將所述業務數據的格式轉換成目標數據格式。

5.根據權利要求1所述的數據處理方法，其特征在于，所述將所述業務數據傳輸至所述數據存儲模塊，包括：

將失敗業務數據寫入至預設文件；所述失敗業務數據為存儲至所述數據存儲模塊失敗的所述業務數據；

在預設寫入周期的寫入時間內，將所述預設文件中的目標數據條所述失敗業務數據，傳輸至所述數據存儲模塊。

6.一種數據庫架構，其特征在于，所述數據庫架構包括消息隊列模塊、數據處理模塊以及數據存儲模塊；其中，所述數據處理模塊包括消費者模塊以及緩沖池模塊；

所述消息隊列用于接收業務系統的業務數據，并將業務數據傳輸至所述消費者模塊；

所述消費者模塊用于將所述業務數據傳輸至所述緩沖池模塊；

所述緩沖池模塊用于緩存所述業務數據，并在所述緩沖池模塊所緩存的數據滿足預設傳輸規則的情況下，將所述業務數據傳輸至所述數據存儲模塊。

7.根據權利要求6所述的數據庫架構，其特征在于，所述預設傳輸規則包括以下至少一項：

所述緩沖池模塊所緩存的數據條目數達到預設緩存條目數閾值；

所述緩沖池模塊所緩存的數據容量達到預設緩存容量閾值；

所述業務數據在所述緩沖池模塊的緩存時長達到預設緩存時長閾值；

以及

時間到達預設傳輸周期的傳輸時間。

8.一種數據處理裝置，應用于數據庫架構，其特征在于，所述數據庫架構包括消息隊列模塊、數據處理模塊以及數據存儲模塊；其中，所述數據處理模塊包括消費者模塊以及緩沖池模塊；

所述裝置包括：

第一控制模塊，用于控制所述消息隊列模塊接收業務系統的業務數據，并將業務數據傳輸至所述消費者模塊；

第二控制模塊，用于控制所述消費者模塊將所述業務數據傳輸至所述緩沖池模塊；

第三控制模塊，用于控制所述緩沖池模塊緩存所述業務數據，并在所述緩沖池模塊所緩存的數據滿足預設傳輸規則的情況下，將所述業務數據傳輸至所述數據存儲模塊。