[發(fā)明專(zhuān)利]一種內(nèi)存數(shù)據(jù)庫(kù)OLTP&OLAP并發(fā)查詢(xún)優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410198279.9
• 申請(qǐng)日: 2014-05-12
• 公開(kāi)（公告）號(hào): CN103942342B
• 公開(kāi)（公告）日: 2017-02-01
• 發(fā)明（設(shè)計(jì)）人: 張延松;張宇;王珊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司11245
• 代理人: 徐寧,孫楠

技術(shù)領(lǐng)域

本發(fā)明涉及一種混合OLAP(分析型查詢(xún)處理)和OLTP(事務(wù)型查詢(xún)處理)的查詢(xún)優(yōu)化方法，特別是關(guān)于一種數(shù)據(jù)庫(kù)管理技術(shù)領(lǐng)域中面向OLAP模式和負(fù)載特征的內(nèi)存數(shù)據(jù)庫(kù)OLTP&OLAP并發(fā)查詢(xún)優(yōu)化方法。?

背景技術(shù)

數(shù)據(jù)庫(kù)技術(shù)可以分為事務(wù)型查詢(xún)處理(on-line?transaction?processing，OLTP)和分析型查詢(xún)處理(on-line?analytical?processing，OLAP)兩種主要類(lèi)型，其中，事務(wù)型查詢(xún)處理主要是對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)的增加、刪除、修改操作，事務(wù)執(zhí)行時(shí)間短，需要滿(mǎn)足產(chǎn)ACID(原子性、一致性、隔離性、持久性)特性，需要通過(guò)復(fù)雜的并發(fā)控制機(jī)制保證事務(wù)執(zhí)行的正確性；分析型查詢(xún)處理主要以采用多維存儲(chǔ)模型(星形模型或雪花形模型)的數(shù)據(jù)倉(cāng)庫(kù)中的多維分析處理為代表，需要通過(guò)事實(shí)表與多個(gè)維表之間的連接操作完成分組聚集計(jì)算，是一種只讀的長(zhǎng)程(long-running?query)執(zhí)行事務(wù)。傳統(tǒng)的OLTP和OLAP由不同的數(shù)據(jù)庫(kù)系統(tǒng)支持，分別采用不同的存儲(chǔ)模型，如OLTP數(shù)據(jù)處理采用行存儲(chǔ)模型，OLAP數(shù)據(jù)處理采用列存儲(chǔ)模型，需要在OLTP和OLAP數(shù)據(jù)庫(kù)中各自保留維表和事實(shí)表，并周期性地進(jìn)行合并。當(dāng)前的一個(gè)發(fā)展趨勢(shì)是在內(nèi)存OLAP數(shù)據(jù)庫(kù)中統(tǒng)一地集成OLTP&OLAP功能，實(shí)現(xiàn)OLTP和OLAP平臺(tái)的統(tǒng)一，支持OLAP在實(shí)時(shí)數(shù)據(jù)上的分析處理。?

當(dāng)前內(nèi)存數(shù)據(jù)庫(kù)混合OLTP&OLAP方法主要分為兩種類(lèi)型：通過(guò)硬件支持的snapshot機(jī)制動(dòng)態(tài)隔離OLTP和OLAP事務(wù)，保證OLTP和OLAP的并發(fā)執(zhí)行；通過(guò)delta表機(jī)制動(dòng)態(tài)地將OLTP事務(wù)數(shù)據(jù)轉(zhuǎn)移到OLAP數(shù)據(jù)庫(kù)中，如Vertica(WOS、ROS、Tuple?Mover)、Vectorwise(differential?update?mechanism)、SAP?HANA?(L1-delat、L2-delta、Main?store機(jī)制)等。這些OLTP&OLAP并發(fā)查詢(xún)處理機(jī)制主要從數(shù)據(jù)的并發(fā)訪(fǎng)問(wèn)控制的角度來(lái)解決事務(wù)與分析型查詢(xún)的并發(fā)數(shù)據(jù)訪(fǎng)問(wèn)問(wèn)題，而沒(méi)有從OLAP模式特點(diǎn)和負(fù)載特點(diǎn)的角度來(lái)分析OLTP和OLAP事務(wù)所對(duì)應(yīng)的不同數(shù)據(jù)集，即OLAP和OLTP事務(wù)在事實(shí)表和維表上的不同需求(事實(shí)表上的insert-only特性和在維表上的通用更新需求)。?

從模式的角度來(lái)看，OLAP采用星形或雪花形模型，位于中心的事實(shí)表與多個(gè)維表(維表的進(jìn)一步分解形成雪花形)具有不同的數(shù)據(jù)更新特點(diǎn)：維表上的OLTP需求包括維屬性的增加(insert)、刪除(delete)和修改(update)，但維表具?有緩慢增長(zhǎng)的特點(diǎn)，即維表上的記錄數(shù)量緩慢增長(zhǎng)，但維表上屬性的更新較為頻繁(如用戶(hù)維表中新用戶(hù)增長(zhǎng)較為緩慢，但大量的用戶(hù)更新屬性的操作較為頻繁)，尤其是刪除操作由于維表與事實(shí)表之間具有主-外鍵參照完整性約束條件，必須在事實(shí)表對(duì)應(yīng)記錄刪除后才能刪除維表對(duì)應(yīng)的主鍵記錄，因此維表上的刪除操作很少使用，OLTP事務(wù)主要是緩慢地增加維表記錄和對(duì)維表中已有記錄的修改；事實(shí)表由維表外鍵和數(shù)值型的度量屬性組成，主要用于與維表的連接操作和進(jìn)行聚集計(jì)算，數(shù)據(jù)倉(cāng)庫(kù)的只讀特性使其通常采用insert-only的更新模式，即只能增加新的事實(shí)記錄而不支持對(duì)歷史事實(shí)記錄的修改，當(dāng)數(shù)據(jù)量較大時(shí)需要周期性地將事實(shí)記錄移出數(shù)據(jù)庫(kù)。因此，在混合OLTP&OLAP負(fù)載中，更新操作的核心問(wèn)題是事實(shí)表上的大量insert-only更新負(fù)載所產(chǎn)生的并發(fā)控制問(wèn)題，OLAP查詢(xún)?cè)诰S表上的執(zhí)行時(shí)間較短(主要用于生成連接用的哈希表)，而在事實(shí)表上的執(zhí)行時(shí)間較長(zhǎng)，因此維表上的并發(fā)控制機(jī)制的效率對(duì)整體OLAP查詢(xún)處理時(shí)間的影響并不顯著。在事實(shí)表上的insert-only更新中，除并發(fā)控制之外另一個(gè)重要的問(wèn)題是事實(shí)表通常采用壓縮技術(shù)，需要解決更新記錄原始存儲(chǔ)結(jié)構(gòu)向壓縮存儲(chǔ)結(jié)構(gòu)的轉(zhuǎn)換，如HANA的L1、L2delta表機(jī)制。當(dāng)前大數(shù)據(jù)應(yīng)用中high-velocity(高速)的更新壓力要求內(nèi)存數(shù)據(jù)庫(kù)能夠支持大量數(shù)據(jù)的連續(xù)插入負(fù)載，壓縮轉(zhuǎn)換機(jī)制的效率成為影響OLTP性能的關(guān)鍵因素。?

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明的目的是提供一種內(nèi)存數(shù)據(jù)庫(kù)OLTP&OLAP并發(fā)查詢(xún)優(yōu)化方法，該方法面向維表和事實(shí)表上不同特征的更新需求采用不同的存儲(chǔ)和更新策略，簡(jiǎn)化存儲(chǔ)引擎和并發(fā)控制機(jī)制的設(shè)計(jì)，提高OLAP在high-velocity更新負(fù)載時(shí)的處理能力。?