[發明專利]業務數據插入數據庫方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201710686770.X
• 申請日: 2017-08-11
• 公開（公告）號: CN109388636A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 譚正;陳樂君;王凡;唐堂
• 申請（專利權）人: 中國移動通信集團重慶有限公司;中國移動通信集團公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/2457;G06F16/25;G06F16/28
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

本發明提供了業務數據插入數據庫的方法、裝置、計算機設備及存儲介質，屬于計算機技術領域，本發明的技術方案為：對業務數據進行主鍵識別，獲取業務數據的主鍵值。將業務數據依據主鍵值進行排序。將排序后的業務數據依據數據庫語法，拼接得到結構查詢語句SQL數據。將SQL數據插入到數據庫中，并且將插入的業務數據對應的主鍵值保存到數據庫對應的主鍵索引樹的空余葉子節點中。通過以上技術方案，本發明能夠解決主鍵索引樹在更新時所產生的索引葉子節點的分裂和數據移動問題，從根本上提高插入效率，提升數據加載速度。

技術領域

本發明屬于計算機技術領域，具體涉及一種業務數據插入數據庫的方法、裝置、計算機設備以及計算機可讀存儲介質。

背景技術

在互聯網公司、電信運營商、銀行等大型IT支撐系統中，經常會根據業務的需求對大批量數據排重。以重慶移動為例，每日GPRS話單量高達3億條，在將話單入庫的過程中，由于為了校驗話單唯一性，避免重復處理相同的話單，因此在其中一個字段上建立主鍵，數據庫會自動在主鍵字段上建立唯一索引，索引是對數據庫表中一列或多列的值進行排序的一種結構，在對表插入數據過程中需要對主鍵索引進行維護，從而導致插入效率較低。

為提升系統吞吐量，目前主要有以下兩種解決辦法：

解決辦法一：采用分批提交，通過控制每次提交的數據量減少操作數據庫的次數，提高性能。該方法減少了提交時與數據庫的交互次數，從而減少了由于頻繁提交產生的在線日志物理寫等待。但是由于數據每次插入的時候，主鍵索引樹要隨著索引列的變化進行同步更新，而索引葉子節點對應是有序值序列，因此索引樹更新時，葉子節點就會進行分裂，而在新插入的值為隨機值時，即處于某個葉子節點的中間值，該索引葉子塊將根據此中間值分裂成兩個塊，從而兩個塊都為半滿的結構，因此每次插入都會伴隨索引葉子塊的分裂及數據移動。因此通過該解決辦法一雖然減少了操作數據庫的次數，但是在每次數據插入時都要進行索引分裂，因此占用較多存儲空間，吞吐量不高，從而無法提高數據加載速度。

解決辦法二：是通過業務規則將主鍵表修改為分區表，減少每個分區數據的數量，打亂數據分布，再通過并行的方式插入。由于該方法將主鍵修改為范圍分區，從而將維護全表的索引更改為維護單個分區的索引，即減少了索引樹的大小，減少了插入數據時索引尋址時間。但是一方面由于業務規則限定，此類表不一定能修改為按范圍進行分區，即使按照主鍵修改為范圍分區，一定時間內所有數據可能無法按照預想進入不同的分區，而仍然進入同一個分區，還是會出現上述大量索引葉子塊的分裂及數據移動，索引爭用嚴重。

綜上所述，無論是解決辦法一還是解決辦法二，均無法解決主鍵索引樹在更新時所產生的索引葉子塊的分裂和數據移動問題，因此無法從根本上提高插入效率和提升數據加載速度。

發明內容

有鑒于此，本發明提供了一種業務數據插入數據庫的方法、裝置、計算機設備及存儲介質，能夠解決主鍵索引樹在更新時所產生的索引葉子節點的分裂和數據移動問題，從根本上提高插入效率，提升數據加載速度。

基于上述目的，本發明的技術方案為：

一方面，本發明實施例提供了一種業務數據插入數據庫的方法，其特征在于，包括：

對業務數據進行主鍵識別，獲取業務數據的主鍵值。

將業務數據依據主鍵值進行排序。

將排序后的業務數據依據數據庫語法，拼接得到結構查詢語句SQL數據。

將SQL數據插入到數據庫中，并且將插入的業務數據對應的主鍵值保存到數據庫對應的主鍵索引樹的空余葉子節點中。

在第一方面的一個或多個實施例中，業務數據插入數據庫的方法還包括：

將業務數據分組得到多個數據組。

將多個數據組中的每個數據組中的業務數據依據主鍵值進行排序。