[發(fā)明專利]在分片數據庫環(huán)境中處理半結構化和非結構化數據

在審

• 申請?zhí)枺?/td>: 201880052123.6
• 申請日: 2018-05-24
• 公開（公告）號: CN111095238A
• 公開（公告）日: 2020-05-01
• 發(fā)明（設計）人: B·哈默施密特;S·克里希納穆爾蒂;呂穎;D·麥克馬洪;S·塔塔;V·阿羅拉
• 申請（專利權）人: 甲骨文國際公司
• 主分類號: G06F16/83
• 分類號: G06F16/83;G06F16/22
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 羅亞男

本文描述了用于利用和擴展關系數據分片基礎設施以在單個分片數據庫系統(tǒng)中除了關系數據之外還提供對分片半結構化和非結構化數據的全面支持的技術。具體而言，描述了其中目錄服務器預先收集它需要的所有數據，以回答從動態(tài)創(chuàng)建的臨時lob的獲取的技術。此外，提供了其中目錄服務器在發(fā)送給客戶端的lob定位符中對碎片標識符進行編碼的技術。提供了用于將各種操作符下推到碎片服務器的技術。

技術領域

本發(fā)明涉及數據庫系統(tǒng)，更具體而言，涉及其中分片表存儲半結構化數據項的數據庫系統(tǒng)。

背景技術

存儲越來越多的數據的數據庫系統(tǒng)正變得越來越普遍。例如，在線交易處理(OLTP)系統(tǒng)，諸如電子商務、移動、社交和軟件即服務(SaaS)系統(tǒng)，通常需要大型數據庫存儲裝置。OLTP系統(tǒng)的示例應用包括但不限于大型計費系統(tǒng)、票務系統(tǒng)、在線金融服務、媒體公司、在線信息服務和社交媒體公司。給定這些數據庫系統(tǒng)存儲的大量數據，將所有數據存儲在單個數據庫實例上是不切實際的，因為大量數據會利用大量的計算資源，諸如處理器、存儲器和存儲裝置。

此外，非關系數據庫(有時也稱為NoSQL數據庫)沒有提供關系數據庫的全部功能。例如，NoSQL數據庫沒有提供與關系數據庫相同的模式控制、原子性、一致性、隔離性、持久性或功能全面的結構化查詢語言(SQL)。

為了更高效地處理結構化良好的關系數據，已開發(fā)了用于“水平分區(qū)”數據庫的技術。水平分區(qū)涉及將單個較大的表分解成更小、更易于管理的信息子集，稱為“分區(qū)”。分片是數據層體系架構，其中數據跨獨立的數據庫實例進行水平分區(qū)，其中每個獨立的數據庫實例被稱為“碎片”。碎片的集合一起構成單個邏輯數據庫，其被稱為“分片數據庫”(“SDB”)。邏輯上，分片數據庫可以像傳統(tǒng)的未分片數據庫一樣被客戶端應用訪問。但是，分片數據庫中的表跨各個碎片進行水平分區(qū)。

圖1圖示了未分片數據庫100和分片數據庫110的示例。未分片數據庫100是關系數據庫，并且包括表102。表102的所有內容都存儲在相同的未分片數據庫100中，并且因此使用相同的計算資源，諸如處理器、存儲器和磁盤空間。

但是，分片數據庫110描繪了使用分片技術的替代配置。分片數據庫110包括三個碎片112、114和116。碎片112、114和116中的每一個都是其自己的數據庫實例，并且分別包括其自己的表113、115和117。但是，在分片數據庫110中，表102已跨碎片112、114和116被水平劃分成表113、115和117。分片數據庫中的水平分區(qū)涉及跨碎片拆分數據庫表(諸如表102)，使得每個碎片包含表102的行的子集。在這個示例中，表113、115和117每個包含表102的行的子集。表113、115和117可以被統(tǒng)稱為“分片表”。表113、115和117中共同存儲的數據與表102中存儲的數據等同。分片數據庫110在邏輯上被視為單個數據庫，并且因此可以由客戶端應用像對分片數據庫100那樣進行訪問。

圖2是分片數據庫系統(tǒng)的框圖。客戶端應用210是需要訪問存儲在數據庫中的數據的任何種類的客戶端應用。分片數據庫250是邏輯數據庫，其中數據跨獨立的數據庫實例進行水平分區(qū)。具體而言，存儲在分片數據庫250中的數據被水平分區(qū)并存儲在碎片260A、260B和260C中。分片數據庫可以包括任何數量的碎片，并且分片數據庫中碎片的數量可能隨時間而變化。碎片260A、260B和260C中的每一個可以是其自己的數據庫實例，該實例確實需要與分片數據庫250中的其它碎片共享物理資源，諸如處理器、存儲器和/或存儲設備。