[發(fā)明專利]數(shù)據(jù)存儲結(jié)構的處理方法、處理裝置與數(shù)據(jù)存儲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111471251.4
• 申請日: 2021-12-03
• 公開（公告）號: CN114238318A
• 公開（公告）日: 2022-03-25
• 發(fā)明（設計）人: 牛新莊;胡瑞娟;劉楊箐;王墨飛;張明
• 申請（專利權）人: 中國郵政儲蓄銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/28
• 代理公司: 北京康信知識產(chǎn)權代理有限責任公司 11240
• 代理人: 霍文娟

本申請?zhí)峁┝艘环N數(shù)據(jù)存儲結(jié)構的處理方法、處理裝置與數(shù)據(jù)存儲系統(tǒng)，該方法包括：創(chuàng)建數(shù)據(jù)父表，數(shù)據(jù)父表包括索引信息，索引信息用于表征數(shù)據(jù)父表與行存儲子表和列存儲子表的映射關系，行存儲子表用于存儲第一目標時間段的數(shù)據(jù)，列存儲子表用于存儲第一目標時間段前的數(shù)據(jù)；根據(jù)分裂周期，確定是否對行存儲子表進行分裂；在確定對行存儲子表分裂的情況下，將行存儲子表分裂為一個行存儲二級子表和一個列存儲二級子表，行存儲二級子表用于存儲第二目標時間段的數(shù)據(jù)，列存儲二級子表用于存儲第一目標時間段的數(shù)據(jù)，第二目標時間段為在第一目標時間段之后的時間段，從而解決了現(xiàn)有技術中HTAP場景中插入數(shù)據(jù)和查詢數(shù)據(jù)的性能較差的問題。

技術領域

本申請涉及數(shù)據(jù)存儲領域，具體而言，涉及一種數(shù)據(jù)存儲結(jié)構的處理方法、處理裝置、計算機可讀存儲介質(zhì)、處理器與數(shù)據(jù)存儲系統(tǒng)。

背景技術

分布式數(shù)據(jù)庫是近年來因數(shù)據(jù)增長、業(yè)務復雜度提升、用戶訪問量變大而衍生出來的有著高性能、高可靠、易擴展的數(shù)據(jù)庫。分布式數(shù)據(jù)庫通過將數(shù)據(jù)以一定的規(guī)則進行分片，使用化整為零的方式優(yōu)化處理因數(shù)據(jù)量和并發(fā)量過大導致的性能問題。它具備一定數(shù)量的自主式處理單元，這些單元通過網(wǎng)絡互連，并協(xié)同處理它們各自分配到的任務，最終統(tǒng)一提交給用戶接口。

分布式數(shù)據(jù)庫處理的業(yè)務場景分為三大類，一種是面向交易型業(yè)務的OLTP(聯(lián)機事物處理過程，On-Line Transaction Processing，簡稱OLTP)場景，例如淘寶的購物系統(tǒng)、銀行的存匯款系統(tǒng)、12306的購票系統(tǒng)等；一種是面向分析型業(yè)務的OLAP(聯(lián)機分析處理過程，On-Line Analytical Processing，簡稱OLAP)場景，例如國家統(tǒng)計局公示的各類行業(yè)數(shù)據(jù)報告、商業(yè)智能報表等；一種是面向混合型業(yè)務的HTAP(混合事務分析處理，HybridTransaction Analytical Processing，簡稱HTAP)場景，例如今日頭條新聞推薦、銀行手機APP交易查詢收支分析等。

對于HTAP場景，傳統(tǒng)的關系型數(shù)據(jù)庫，通常會采用類似分表的解決方案，例如在Oracle中，將一部分表創(chuàng)建為行存表，另一部分表創(chuàng)建為列存表。在查詢時，通過視圖的方式創(chuàng)建多表合并的結(jié)果集，并對外統(tǒng)一提供查詢對象，而在需要插入或更新時需要通過修改應用，將數(shù)據(jù)寫入對應的表中。

雖然使用分表的方式也可以解決HTAP場景的功能性問題，但也帶來了各種其它的負面影響，例如，對于數(shù)據(jù)量較大的表進行合并時，會消耗大量的IO資源和內(nèi)存；在使用合并后的表進行條件過濾時，通常無法使用表上已有的索引，導致檢索效率非常低；合并的視圖是無法創(chuàng)建可更新視圖的；由于每次增加或修改一條數(shù)據(jù)都需要調(diào)用一次判斷邏輯，對于處理大量并發(fā)、大量數(shù)據(jù)的應用系統(tǒng)，可能帶來成倍的性能降低。

因此，亟需一種能夠優(yōu)化HTAP場景中插入數(shù)據(jù)和查詢數(shù)據(jù)的性能的方法。

在背景技術部分中公開的以上信息只是用來加強對本文所描述技術的背景技術的理解，因此，背景技術中可能包含某些信息，這些信息對于本領域技術人員來說并未形成在本國已知的現(xiàn)有技術。

發(fā)明內(nèi)容

本申請的主要目的在于提供一種數(shù)據(jù)存儲結(jié)構的處理方法、處理裝置、計算機可讀存儲介質(zhì)、處理器與數(shù)據(jù)存儲系統(tǒng)，以解決現(xiàn)有技術中HTAP場景中插入數(shù)據(jù)和查詢數(shù)據(jù)的性能較差的問題。

根據(jù)本發(fā)明實施例的一個方面，提供了一種數(shù)據(jù)存儲結(jié)構的處理方法，包括：創(chuàng)建數(shù)據(jù)父表，所述數(shù)據(jù)父表包括索引信息，所述索引信息用于表征所述數(shù)據(jù)父表與行存儲子表和列存儲子表的映射關系，所述行存儲子表用于存儲第一目標時間段的數(shù)據(jù)，所述列存儲子表用于存儲所述第一目標時間段前的數(shù)據(jù)；根據(jù)分裂周期，確定是否對所述行存儲子表進行分裂；在確定對所述行存儲子表分裂的情況下，將所述行存儲子表分裂為一個行存儲二級子表和一個列存儲二級子表，所述行存儲二級子表用于存儲第二目標時間段的數(shù)據(jù)，所述列存儲二級子表用于存儲所述第一目標時間段的數(shù)據(jù)，所述第二目標時間段為在所述第一目標時間段之后的時間段。