[發明專利]數據合并方法及裝置

在審

• 申請號: 201711230722.6
• 申請日: 2017-11-29
• 公開（公告）號: CN110069491A
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 朱文琦;鄧勇;楊宜東;莫曉軍
• 申請（專利權）人: 華為軟件技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/242
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 羅振安

本申請公開了一種數據合并方法及裝置，涉及數據庫。該方法包括：將目標事務生成的數據組，存儲到所述目標事務對應的數據緩存；當滿足預設條件時，將緩存的多個數據組合并為列批量數據組；將所述列批量數據組插入所述目標事務對應的數據庫表中；清空所述數據緩存中存儲的數據組。本申請避免了服務器頻繁解析SQL語句的CPU消耗，以及頻繁寫入數據造成的磁盤I/O消耗，從而提高了服務器的整體服務性能。

技術領域

本申請涉及數據庫領域，特別涉及一種數據合并方法及裝置。

背景技術

隨著網絡技術的發展和應用軟件的成熟，軟件即服務(Software-as-a-service，SaaS)作為一種新的軟件應用模式，得到越來越多的關注。SaaS特別之處在于，用戶無需對應用程序進行安裝，而是通過網絡直接使用應用程序，對數據進行閱讀、編輯和保存。

目前，服務器以數據庫表的形式存儲各個用戶的數據，SaaS模式的興起意味著服務器需要存儲大量不同用戶的不同數據，于是寬表應運而生。寬表從字面意義上講就是字段比較多的數據庫表，通常是指將業務主題相關的指標、維度、屬性列等類型記錄在一起的一張數據庫表。由于寬表在創建時會預留若干(比如100，500)個無類型字段作為具體數據的存儲字段，因此可以適應大量不同用戶的不同類型的數據的存儲。

現有技術中，服務器是將數據組逐條寫入寬表中(比如當一件事務觸發后，服務器需要將與該事務關聯的多條數據組一條一條寫入寬表中)，顯然，頻繁解析結構化查詢語言(Structured Query Language，SQL)語句和頻繁寫入數據，無疑增加了服務器的中央處理器(Central Processing Unit，CPU)消耗和磁盤輸入/輸出(Input/Output，I/O)消耗，降低了服務器的整體服務性能。

發明內容

為了解決相關技術的問題，本申請公開了一種數據合并方法及裝置。所述技術方案如下：

第一方面，提供了一種數據合并方法，所述方法包括：

將目標事務生成的數據組，存儲到所述目標事務對應的數據緩存；

當滿足預設條件時，將緩存的多個數據組合并為列批量數據組；

將所述列批量數據組插入所述目標事務對應的數據庫表中；

清空所述數據緩存中存儲的數據組。

本申請實施例提供的數據合并方法，通過先將目標事務生成的數據組合并為列批量數據組，再將列批量數據組插入目標事務對應的數據庫表中，由于服務器在只需對列批量數據組執行依次寫入操作，即可將合并成該列批量數據組的的數據組全部寫入寬表中，避免了服務器頻繁解析SQL語句的CPU消耗，以及頻繁寫入數據造成的磁盤I/O消耗，從而提高了服務器的整體服務性能。

結合第一方面或者第一方面的第一種可能的實施方式，在第一方面的第二種可能的實施方式中，根據數據組屬性列與數據庫表屬性列的對應關系，將類型不同的數據組合并為列批量數據組，使得插入數據庫表中的列批量數據組，所包含的每個數據對應的屬性列與數據庫表的數據庫表屬性列均對應，從而減少空數據的數量，降低列批量數據組的占用空間，所述將緩存的多個數據組合并為列批量數據組，包括：確定所述多個數據組中，每個數據組的數據組屬性列；根據預存的數據組屬性列與數據庫表屬性列的對應關系，將所述多個數據組中對應同一數據庫表屬性列的數據合并到同一列，得到第一數據集合；在所述第一數據集合中，對于所述多個數據組中的每個數據組，在所述數據組中添加對應所述第一數據集合的數據集合屬性列的空數據，得到第二數據集合；在所述第二數據集合中，將同一列數據綁定為列數據，得到所述列批量數據組。