[發(fā)明專利]數(shù)據(jù)存儲(chǔ)方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011104762.8
• 申請(qǐng)日: 2020-10-15
• 公開（公告）號(hào): CN112328592A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 郝江
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/242;G06F16/2458;G06F16/25;G06F40/174
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 饒智彬

本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域。當(dāng)有轉(zhuǎn)存數(shù)據(jù)的存儲(chǔ)需求時(shí)，通過獲取數(shù)據(jù)庫中的數(shù)據(jù)表的最近表分區(qū)的時(shí)間信息并與待轉(zhuǎn)存數(shù)據(jù)的時(shí)間信息進(jìn)行比對(duì)及該最近表分區(qū)的剩余存儲(chǔ)空間與待轉(zhuǎn)存數(shù)據(jù)的數(shù)據(jù)量進(jìn)行比對(duì)，來判斷待轉(zhuǎn)存數(shù)據(jù)是否滿足存儲(chǔ)至該最近表分區(qū)的存儲(chǔ)條件，當(dāng)滿足該存儲(chǔ)條件時(shí)，將待轉(zhuǎn)存數(shù)據(jù)存儲(chǔ)至該最近表分區(qū)，當(dāng)不滿足該存儲(chǔ)條件時(shí)，在數(shù)據(jù)表中創(chuàng)建新的表分區(qū)，并將該待轉(zhuǎn)存數(shù)據(jù)存儲(chǔ)至新建的表分區(qū)。本申請(qǐng)針對(duì)數(shù)據(jù)表新進(jìn)來的數(shù)據(jù)，判斷放在新建的表分區(qū)還是已有的表分區(qū)，盡可能使得數(shù)據(jù)表中每一表分區(qū)存儲(chǔ)的數(shù)據(jù)接近合理的分區(qū)大小，可最大程度降低系統(tǒng)I/O浪費(fèi)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)存儲(chǔ)方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用軟件的成熟，開始興起一種創(chuàng)新的軟件應(yīng)用模式Software-as-a-Service(軟件即服務(wù)，SaaS)。第三方廠商可以通過購買Saas服務(wù)來獲得相應(yīng)的軟件服務(wù)。在現(xiàn)有的Saas服務(wù)中，SaaS服務(wù)提供方提供的數(shù)據(jù)分析模型是預(yù)置的，分析指標(biāo)的算法亦是預(yù)置的，多個(gè)第三方廠商共用同一套數(shù)據(jù)資源來進(jìn)行數(shù)據(jù)分析。該套數(shù)據(jù)資源匯集有多個(gè)第三方廠商的待分析數(shù)據(jù)。

如圖1所示，多個(gè)第三方廠商運(yùn)營(yíng)有多個(gè)應(yīng)用程序(Application，APP)APP₁～APP_i,多個(gè)APP的數(shù)據(jù)均存儲(chǔ)在SaaS服務(wù)提供方指定的多個(gè)數(shù)據(jù)庫Db₁～Db_j。多個(gè)APP的數(shù)據(jù)如何存放到多個(gè)數(shù)據(jù)庫的數(shù)據(jù)表，一般有兩種方式：第一種是根據(jù)APP的標(biāo)識(shí)信息APP_ID進(jìn)行哈希運(yùn)算并對(duì)哈希運(yùn)算結(jié)果進(jìn)行取模運(yùn)算(Modulus Operation)找到對(duì)應(yīng)的數(shù)據(jù)庫，然后再將APP數(shù)據(jù)存儲(chǔ)到該數(shù)據(jù)庫中的數(shù)據(jù)表；第二種是預(yù)先建立APP的標(biāo)識(shí)信息APP_ID和數(shù)據(jù)庫的標(biāo)識(shí)信息Database_ID的映射關(guān)系，然后再根據(jù)映射關(guān)系將APP數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的數(shù)據(jù)庫中的數(shù)據(jù)表。由于SaaS提供的分析服務(wù)一般都要基于時(shí)間軸進(jìn)行分析，進(jìn)而數(shù)據(jù)表往往需要按照時(shí)間進(jìn)行分區(qū)。由于每個(gè)APP的數(shù)據(jù)是無法預(yù)估的，導(dǎo)致對(duì)數(shù)據(jù)表進(jìn)行分區(qū)存在著無法預(yù)估分區(qū)大小的問題。若數(shù)據(jù)表中存在過多的分區(qū)小的表分區(qū)，后續(xù)在讀取表分區(qū)數(shù)據(jù)時(shí)將在輸入/輸出(Input/Output，I/O)建立上耗費(fèi)大量的資源，現(xiàn)有的分析服務(wù)一般都是秒級(jí)響應(yīng)，簡(jiǎn)單地對(duì)數(shù)據(jù)表進(jìn)行時(shí)間分區(qū)，無法使得表分區(qū)存儲(chǔ)的數(shù)據(jù)接近合理大小，降低了分析服務(wù)的響應(yīng)速度。

發(fā)明內(nèi)容

有鑒于此，有必要提供一種數(shù)據(jù)存儲(chǔ)方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，使得表分區(qū)存儲(chǔ)的數(shù)據(jù)接近合理大小，最大程度降低系統(tǒng)I/O浪費(fèi)。

本申請(qǐng)實(shí)施例第一方面公開了一種數(shù)據(jù)存儲(chǔ)方法，應(yīng)用于數(shù)據(jù)庫，所述數(shù)據(jù)庫包括至少一數(shù)據(jù)表，所述數(shù)據(jù)存儲(chǔ)方法包括：響應(yīng)于待轉(zhuǎn)存數(shù)據(jù)的存儲(chǔ)需求，確定所述數(shù)據(jù)庫中與所述待轉(zhuǎn)存數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表；獲取所述數(shù)據(jù)表的最近表分區(qū)的時(shí)間信息與剩余存儲(chǔ)空間，及所述待轉(zhuǎn)存數(shù)據(jù)的時(shí)間信息與數(shù)據(jù)量；及所述最近表分區(qū)的時(shí)間信息與所述待轉(zhuǎn)存數(shù)據(jù)的時(shí)間信息不匹配和/或所述最近表分區(qū)的剩余存儲(chǔ)空間小于所述待轉(zhuǎn)存數(shù)據(jù)的數(shù)據(jù)量，在所述數(shù)據(jù)表中創(chuàng)建新的表分區(qū)，并將所述待轉(zhuǎn)存數(shù)據(jù)存儲(chǔ)至新建的表分區(qū)。

通過采用該技術(shù)方案，可以實(shí)現(xiàn)針對(duì)每次提取的待轉(zhuǎn)存數(shù)據(jù)，當(dāng)表分區(qū)時(shí)間信息與待轉(zhuǎn)存數(shù)據(jù)的時(shí)間信息不匹配和/或表分區(qū)剩余存儲(chǔ)空間小于待轉(zhuǎn)存數(shù)據(jù)的數(shù)據(jù)量時(shí)，為待轉(zhuǎn)存數(shù)據(jù)創(chuàng)建新的表分區(qū)進(jìn)行存儲(chǔ)，使得表分區(qū)存儲(chǔ)的數(shù)據(jù)盡可能接近該合理的分區(qū)大小，且表分區(qū)存儲(chǔ)的數(shù)據(jù)時(shí)間信息與自身時(shí)間信息匹配,可最大程度降低系統(tǒng)I/O浪費(fèi)，便于后續(xù)進(jìn)行數(shù)據(jù)分析。

在一種可能的實(shí)現(xiàn)方式中，所述待轉(zhuǎn)存數(shù)據(jù)包括數(shù)據(jù)屬性，所述數(shù)據(jù)庫中的每一數(shù)據(jù)表包括表屬性，所述表屬性用于指示所述數(shù)據(jù)表所能存儲(chǔ)的數(shù)據(jù)的數(shù)據(jù)屬性，所述確定所述數(shù)據(jù)庫中與所述待轉(zhuǎn)存數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表，包括：根據(jù)所述待轉(zhuǎn)存數(shù)據(jù)的數(shù)據(jù)屬性及所述數(shù)據(jù)庫中的每一所述數(shù)據(jù)表的表屬性確定與所述待轉(zhuǎn)存數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表。