[發明專利]面向數據庫的請求的批處理方法、裝置、設備及存儲介質

在審

• 申請號: 202110270917.3
• 申請日: 2021-03-12
• 公開（公告）號: CN112925807A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 段鑫
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455
• 代理公司: 北京中原華和知識產權代理有限責任公司 11019
• 代理人: 壽寧;張琳

本發明提出一種面向數據庫的請求的批處理方法，包括：接收一個或多個面向數據庫的請求；設定批處理操作的觸發條件；以及當滿足觸發條件時，對所述請求進行合并處理，所述合并處理基于所述請求的操作類型執行。通過本發明提供的一種面向數據庫的請求的批處理方法、裝置、設備及存儲介質，能夠針對在高并發多線程請求數據庫的場景下，進行合并請求，優化執行數據庫時間，以降低DB處理請求延時或者消除DB處理請求延時，從而有效提高數據庫系統服務的吞吐能力。本發明通過合并請求來減少多次請求時網絡消耗，盡可能將多次隨機操作，合并為順序讀寫，減少磁盤處理時間，以達到優化硬盤從而優化整個系統吞吐的目的。

技術領域

本發明涉及計算機及通信技術領域，特別涉及一種面向數據庫的請求的批處理方法、裝置、設備及存儲介質。

背景技術

結構化查詢語言(Structured Query Language)簡稱SQL，是一種特殊目的的編程語言，是一種數據庫查詢和程序設計語言，用于存取數據以及查詢、更新和管理關系數據庫系統。

SQL是高級的非過程化編程語言，允許用戶在高層數據結構上工作。它不要求用戶指定對數據的存放方法，也不需要用戶了解具體的數據存放方式，所以具有完全不同底層結構的不同數據庫系統,可以使用相同的結構化查詢語言作為數據輸入與管理的接口。并且，其結構化查詢語言語句可以嵌套，使其具有極大的靈活性和強大的功能。

MySQL是一個關系型數據庫管理系統，由瑞典MySQL AB公司開發，屬于Oracle旗下產品。MySQL是流行的關系型數據庫管理系統之一，在WEB應用方面，MySQL是最流行的RDBMS(Relational Database Management System，關系數據庫管理系統)應用軟件之一。MySQL所使用的SQL語言是用于訪問數據庫的最常用標準化語言。

MySQL的關系數據庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度并提高了靈活性。MySQL因其強大的功能和其關系數據庫的極大靈活性而被廣泛應用于互聯網中。

然而，隨著互聯網的快速發展，需要多臺數據庫服務器或數據庫服務器集群來滿足業務快速發展的需求。這些服務器可能被安置在不同的機房中，于是線上業務對數據庫產生了跨機房數據處理請求的需要。跨機房處理業務請求必然比同機房處理業務請求的時間更長。同時，隨著業務請求量增加，數據庫處理請求出現明顯延時，簡單地將多個用戶請求通過一個連接發給數據庫已不能滿足需求，越來越多對數據庫的業務請求亟需采用更合理的處理方式對數據庫請求耗時進行優化，以降低請求處理的延時或者消除該延時。

發明內容

本發明的目的在于，提供一種面向數據庫的請求的批處理方法、裝置、設備及存儲介質，能夠針對在高并發多線程請求數據庫的場景下，通過合并請求，減少請求與數據庫的交互次數，優化執行數據庫時間，以降低DB(database，下述簡稱DB)處理請求延時或者消除DB處理請求延時，從而有效提高數據庫系統服務的吞吐能力。其中，數據請求的操作類型可以包括對數據庫中數據進行查詢、更新和插入等。本發明的面向數據庫的請求的批處理方法、裝置、設備及存儲介質通過合并請求來減少多次請求時網絡消耗，盡可能將多次隨機操作合并為順序讀寫，減少硬盤處理時間，以達到優化硬盤從而優化整個系統吞吐的目的。其中，合并方法根據接入SQL語句自動模式匹配對應的合并規則，將相同動作，例如查詢、更新、插入語句等，做聚合后合并。此外，本發明實現的面向數據庫的請求的批處理方法、裝置、設備及存儲介質，還包括通過定時采樣當前請求QPS(Query Per Second：每秒請求數量)、DB處理延時、網絡延時等數據，平滑處理后定時調整隊列觸發個數N。通過動態調整隊列觸發個數N，保證本發明中的批處理組件處于最佳優化狀態，從而完成自適應批量請求耗時優化。

本發明的目的及解決其技術問題是采用以下技術方案來實現的。