[發明專利]數據預熱方法及裝置

有效

• 申請號: 201110369378.5
• 申請日: 2011-11-18
• 公開（公告）號: CN102521260A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 代坤;李懷洲;宋嬌
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據預熱方法及裝置。

背景技術

隨著數據庫技術的快速發展，數據庫存儲系統呈現以下特點：

固態硬盤(Solid-State?Drive，SSD)，相變存儲器等新型存儲設備和傳統的磁盤設備構成混合存儲環境。基于閃存的SSD同傳統磁盤相比，具有性能高、能耗低等優勢，價格和容量介于內存和傳統磁盤之間。預計今后長時間內，各種類型的硬盤設備將同時存在，混合存儲成為主流的存儲配置；隨著應用越來越多，用戶數據量越來越大，傳統的數據存儲導致的輸入輸出(Input/Output，IO)瓶頸問題就會凸顯出來；一些重要的應用需求要求數據庫系統具有快速、及時、準確的響應。

在現有技術中，在主存和外部存儲器之間提供一個帶有緩存的控制器設備來實現預先加載下一個請求的數據，請求到來時將數據轉移到主存。或者是把閃存設備用作二級緩存，在主存的緩沖區滿時，將需要被替換出緩沖區的部分數據塊寫入閃存設備中，而且在數據庫啟動階段沒有根據用戶的實際使用情況對一些熱點數據進行預加載。

在現有技術中，在數據庫啟動后的初期，客戶端的請求數據量大而且業務非常繁忙時，會導致數據庫系統的響應效率降低，IO非常繁忙，影響數據庫系統的整體性能。

發明內容

本發明的實施例提供一種數據預熱方法及裝置，提高了數據庫系統的響應速度，減緩對磁盤的頻繁IO，提高了數據庫系統的整體性能。

本發明實施例采用如下技術方案：

一種數據預熱方法，包括：

當數據庫啟動時，分別取命中率信息和讀取用戶配置信息，其中所述命中率信息包括：熱點數據表，所述用戶配置信息包括：預設熱點數據表，將待加載熱點數據塊存儲到共享緩沖區和閃存設備中的存儲比例，共享緩沖區的大小，閃存設備的存儲能力，待加載熱點數據塊的總數的偏差值；

獲取所述用戶配置信息中的預設熱點數據表和所述命中率信息中的熱點數據表的并集；

根據存儲比例、共享緩沖區的大小、閃存設備的大小、熱點數據塊的大小、偏差值從所述并集中確定待加載熱點數據塊的總數；

按照所述存儲比例，確定將要存儲到所述共享緩沖區和閃存設備中的待加載熱點數據塊；

將所述待加載熱點數據塊分別存儲到所述共享緩沖區和閃存設備中。

一種數據預熱裝置，包括：

讀取單元，用于當數據庫啟動時，分別取命中率信息和讀取用戶配置信息，其中所述命中率信息包括：熱點數據表，所述用戶配置信息包括：預設熱點數據表，將待加載熱點數據塊存儲到共享緩沖區和閃存設備中的存儲比例，共享緩沖區的大小，閃存設備的存儲能力，待加載熱點數據塊的總數的偏差值；

獲取單元，用于獲取所述用戶配置信息中的預設熱點數據表和所述命中率信息中的熱點數據表的并集；

第一處理單元，用于根據存儲比例、共享緩沖區的大小、閃存設備的大小、熱點數據塊的大小、偏差值從所述并集中確定待加載熱點數據塊的總數；

第二處理單元，用于按照所述存儲比例，確定將要存儲到所述共享緩沖區和閃存設備中的待加載熱點數據塊；

存儲單元，用于將所述待加載熱點數據塊分別存儲到所述共享緩沖區和閃存設備中。

本發明實施例提供的一種數據預熱方法及裝置，在數據庫啟動時，根據用戶的實際使用情況將一些熱點數據塊預先存儲到共享緩沖區和閃存設備中。本發明實施例解決了現有技術中在數據庫啟動，客戶端的請求數據量大而且業務非常繁忙時，會導致數據庫系統的響應效率降低，IO非常繁忙，影響數據庫系統的整體性能的問題，提高了數據庫系統的響應速度，減緩對磁盤的頻繁IO，提高了數據庫系統的整體性能。

附圖說明

圖1為本發明實施例一提供的一種數據預熱方法的主要操作步驟流程圖；

圖2為本發明實施例一提供的一種數據預熱方法的HDM在數據庫系統中管理熱點數據的示意圖；

圖3為本發明實施例一提供的一種數據預熱方法的整體操作步驟流程圖；

圖4為本發明實施例二提供的一種數據預熱裝置的主要結構圖；

圖5為本發明實施例二提供的一種數據預熱裝置中處理單元的結構圖；

圖6為本發明實施例二提供的一種數據預熱裝置中第四處理子單元的主要結構圖；

圖7為本發明實施例二提供的一種數據預熱裝置中第四處理子單元的整體結構圖；

圖8為本發明實施例二提供的一種數據預熱裝置的整體結構圖。

具體實施方式