[發(fā)明專利]一種特大LOB數(shù)據(jù)高并發(fā)低延遲的更新訪問方法

有效

• 申請?zhí)枺?/td>: 202010499819.2
• 申請日: 2020-06-04
• 公開（公告）號: CN111694847B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 冀賢亮;王效忠;劉明;何振興;蘇錦佩
• 申請（專利權(quán)）人: 貴州易鯨捷信息技術(shù)有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2453;G06F16/2458;G06F16/28
• 代理公司: 天津企興智財知識產(chǎn)權(quán)代理有限公司 12226
• 代理人: 馬倩倩

本發(fā)明提供了一種特大LOB數(shù)據(jù)高并發(fā)低延遲的更新訪問方法，包括如下內(nèi)容：1)創(chuàng)建用戶表時，為每個LOB列創(chuàng)建至少一個HDFS文件,用于存儲LOB數(shù)據(jù)；2)針對每個LOB列，創(chuàng)建一個SQL分區(qū)表；3)當LOB值小于等于預(yù)設(shè)的第一閥值時，分割成多行直接存儲到SQL分區(qū)表中以及相關(guān)的元信息；當LOB值大于第一閥值時則存儲到HDFS文件中，SQL分區(qū)表則用于保存LOB數(shù)據(jù)存儲在HDFS文件中產(chǎn)生的元數(shù)據(jù)。本發(fā)明將分布式文件系統(tǒng)的高吞吐特性和分布式SQL表的低延遲以及ACID特性巧妙的結(jié)合起來，采用記錄少量Delta數(shù)據(jù)以及SQL表常駐內(nèi)存特性來提高更新的性能，并把耗時的操作比如I/O等從用戶發(fā)起的事務(wù)中剝離出來。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其是涉及一種特大LOB數(shù)據(jù)高并發(fā)低延遲的更新訪問方法。

背景技術(shù)

數(shù)據(jù)庫技術(shù)主要是指(1)關(guān)系型數(shù)據(jù)庫，從早期的單機數(shù)據(jù)庫(Oracle、MySQL)到分布式數(shù)據(jù)庫,再到現(xiàn)在成為發(fā)展主流的HTAP數(shù)據(jù)庫，即NewSQL數(shù)據(jù)庫。(2)NoSQL數(shù)據(jù)庫，比如：文檔數(shù)據(jù)庫(MongoDB)、XML數(shù)據(jù)庫(BaseX)、Redis?Key-Value數(shù)據(jù)庫和圖數(shù)據(jù)庫等。

LOB是關(guān)系型數(shù)據(jù)庫中大對象字段類型，應(yīng)用于數(shù)據(jù)量非常大的業(yè)務(wù)領(lǐng)域，如圖像檔案等半結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)。LOB又分為BLOB和CLOB兩種：(1)CLOB，即字符型大對象，與字符集相關(guān)適用于存儲文檔和大部頭著作等文本型數(shù)據(jù)以及XML數(shù)據(jù)。(2)CLOB，即二進制大對象，適用于存儲如圖像音頻等字節(jié)流數(shù)據(jù)。特大LOB數(shù)據(jù)包括兩層含義：1.表中具體一行上某個LOB字段值巨大；2.LOB字段值本身不太大，但表中行數(shù)巨多從而LOB字段上總數(shù)據(jù)量巨大。

以關(guān)系型數(shù)據(jù)庫Oracle為例，其LOB數(shù)據(jù)支持ACID屬性，并且提供一致性讀。在數(shù)據(jù)量不太大的情況下提供了很好的增刪改查的性能。對于文檔和XML數(shù)據(jù)即可存儲在CLOB中，也可分別采用文檔數(shù)據(jù)庫和XML數(shù)據(jù)庫等專用數(shù)據(jù)庫來存儲。此專用數(shù)據(jù)庫屬于NoSQL數(shù)據(jù)庫范疇，對此類特定數(shù)據(jù)提供了更非富和個性化的存儲檢索方法，并且針對更新操作通常采用最終一致性方案，而非ACID屬性。

分布式數(shù)據(jù)庫最初利用多節(jié)點的計算和存儲能力以及易擴展性等優(yōu)勢應(yīng)用于大數(shù)據(jù)分析場景，但無法實現(xiàn)實時數(shù)據(jù)分析。目前用戶對實時數(shù)據(jù)分析需求愈發(fā)強烈，分布式數(shù)據(jù)庫實現(xiàn)交易業(yè)務(wù)和分析業(yè)務(wù)等混合負載處理迫在眉睫，即HTAP(HybridTransactional/Analytical?Processing)數(shù)據(jù)庫。

現(xiàn)有技術(shù)中，OLTP場景關(guān)系型單機數(shù)據(jù)庫存在如下缺點或限制：

1.架構(gòu)本身無法線性擴展，并給運維帶來了挑戰(zhàn)。

2.無法滿足目前海量數(shù)據(jù)存儲需求。比如Oracle的一個LOB字段值最多能容納4GB數(shù)據(jù)。

3.更不適合分析型查詢，分析型更關(guān)注讀取整個數(shù)據(jù)集的整體時間和高吞吐量。

現(xiàn)有技術(shù)中，OLAP場景關(guān)系型分布式數(shù)據(jù)庫存在如下缺點或限制：

1.無法提供低延遲高并發(fā)的OLTP場景的查詢請求。訪問模式普遍是一次寫入多次讀取。

2.一般采用多套系統(tǒng)，OLTP場景一套系統(tǒng)(生產(chǎn)數(shù)據(jù))，OLAP場景一套系統(tǒng)(分析數(shù)據(jù))。做分析之前需把數(shù)據(jù)從生產(chǎn)系統(tǒng)導(dǎo)入分析系統(tǒng)，三方面弊端：計算和存儲資源利用率低、無法實現(xiàn)實時分析、數(shù)據(jù)鏈條變長出現(xiàn)故障概率變大。

對于HTAP關(guān)系型數(shù)據(jù)庫不僅要保留分布式數(shù)據(jù)庫優(yōu)點(整合所有節(jié)點的計算和存儲等資源、線性擴展、滿足分析場景的高吞吐需求)還要高效地處理低延遲高并發(fā)的交易型請求。因此HTAP數(shù)據(jù)庫支持線性擴展同時，還從縱向采用了計算和存儲分離設(shè)計方案來支持OLTP和OLAP混合查詢，計算節(jié)點和存儲節(jié)點按需單獨擴展，靈活性更高。HTAP數(shù)據(jù)庫還可把計算節(jié)點分為兩類：一類處理交易型的查詢，一類處理分析型查詢，但他們共享一套存儲。