[發(fā)明專利]數(shù)據(jù)存儲(chǔ)系統(tǒng)、方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710407437.0
• 申請(qǐng)日: 2017-06-02
• 公開(kāi)（公告）號(hào): CN108984564A
• 公開(kāi)（公告）日: 2018-12-11
• 發(fā)明（設(shè)計(jì)）人: 張侃;劉若曦;劉彥偉;荊迪
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請(qǐng)公開(kāi)了數(shù)據(jù)存儲(chǔ)系統(tǒng)、方法和裝置。該系統(tǒng)的一具體實(shí)施方式包括：數(shù)據(jù)抽取服務(wù)器，用于實(shí)時(shí)地從數(shù)據(jù)庫(kù)服務(wù)器的操作日志中抽取實(shí)時(shí)增量的二進(jìn)制操作記錄集合，并實(shí)時(shí)地將實(shí)時(shí)增量的二進(jìn)制操作記錄集合解析為實(shí)時(shí)增量的字符串操作記錄集合；數(shù)據(jù)緩存服務(wù)器，用于實(shí)時(shí)地從數(shù)據(jù)抽取服務(wù)器獲取實(shí)時(shí)增量的字符串操作記錄集合，并對(duì)實(shí)時(shí)增量的字符串操作記錄集合按操作時(shí)間進(jìn)行順序緩存；數(shù)據(jù)存儲(chǔ)服務(wù)器集群，用于周期性地從數(shù)據(jù)緩存服務(wù)器中獲取周期增量的字符串操作記錄集合，并對(duì)周期增量的字符串操作記錄集合按操作時(shí)間進(jìn)行順序存儲(chǔ)。該實(shí)施方式有助于提高數(shù)據(jù)存儲(chǔ)服務(wù)器集群獲取數(shù)據(jù)的時(shí)效性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)存儲(chǔ)系統(tǒng)、方法和裝置。

背景技術(shù)

數(shù)據(jù)倉(cāng)庫(kù)，英文名稱為Data Warehouse，可簡(jiǎn)寫(xiě)為DW或DWH。數(shù)據(jù)倉(cāng)庫(kù)是為企業(yè)所有級(jí)別的決策制定過(guò)程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間、成本、質(zhì)量以及控制。

數(shù)據(jù)倉(cāng)庫(kù)是集成的，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)自于分散的操作型數(shù)據(jù)(例如操作日志)，數(shù)據(jù)倉(cāng)庫(kù)定期將所需數(shù)據(jù)從原來(lái)的數(shù)據(jù)中抽取出來(lái)，進(jìn)行加工與集成，統(tǒng)一與綜合之后才能進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。

然而，現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)通常只能以日、周、月、季、年為周期定期抽取數(shù)據(jù)，其抽取數(shù)據(jù)的時(shí)效性較低，無(wú)法滿足對(duì)時(shí)效性要求較高的業(yè)務(wù)需求。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于提出一種改進(jìn)的數(shù)據(jù)存儲(chǔ)系統(tǒng)、方法和裝置，來(lái)解決以上背景技術(shù)部分提到的技術(shù)問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，該系統(tǒng)包括數(shù)據(jù)抽取服務(wù)器、數(shù)據(jù)緩存服務(wù)器和數(shù)據(jù)存儲(chǔ)服務(wù)器集群；其中，數(shù)據(jù)抽取服務(wù)器，用于實(shí)時(shí)地從數(shù)據(jù)庫(kù)服務(wù)器的操作日志中抽取實(shí)時(shí)增量的二進(jìn)制操作記錄集合，并實(shí)時(shí)地將實(shí)時(shí)增量的二進(jìn)制操作記錄集合解析為實(shí)時(shí)增量的字符串操作記錄集合，其中，操作記錄包括操作時(shí)間和操作數(shù)據(jù)；數(shù)據(jù)緩存服務(wù)器，用于實(shí)時(shí)地從數(shù)據(jù)抽取服務(wù)器獲取實(shí)時(shí)增量的字符串操作記錄集合，并對(duì)實(shí)時(shí)增量的字符串操作記錄集合按操作時(shí)間進(jìn)行順序緩存；數(shù)據(jù)存儲(chǔ)服務(wù)器集群，用于周期性地從數(shù)據(jù)緩存服務(wù)器中獲取周期增量的字符串操作記錄集合，并對(duì)周期增量的字符串操作記錄集合按操作時(shí)間進(jìn)行順序存儲(chǔ)。

在一些實(shí)施例中，數(shù)據(jù)抽取服務(wù)器，還用于：利用主從復(fù)制機(jī)制，實(shí)時(shí)地從數(shù)據(jù)庫(kù)服務(wù)器的操作日志中抽取實(shí)時(shí)增量的二進(jìn)制操作記錄集合。

在一些實(shí)施例中，數(shù)據(jù)緩存服務(wù)器，還用于：實(shí)時(shí)地獲取實(shí)時(shí)增量的字符串操作記錄集合中的每個(gè)字符串操作記錄的關(guān)鍵字；將該字符串操作記錄的關(guān)鍵字與所存儲(chǔ)的第一數(shù)據(jù)表的與各行或各列所對(duì)應(yīng)的主鍵進(jìn)行匹配；若匹配成功，將該字符串操作記錄緩存在第一數(shù)據(jù)表的匹配成功的主鍵所對(duì)應(yīng)的行或列中。

在一些實(shí)施例中，數(shù)據(jù)存儲(chǔ)服務(wù)器集群，還用于：對(duì)于周期增量的字符串操作記錄集合中的每個(gè)字符串操作記錄，將該字符串操作記錄的關(guān)鍵字與所存儲(chǔ)的第二數(shù)據(jù)表的與各行或各列所對(duì)應(yīng)的主鍵進(jìn)行匹配；若匹配成功，將該字符串操作記錄存儲(chǔ)在第二數(shù)據(jù)表的匹配成功的主鍵對(duì)應(yīng)的行或列中。

在一些實(shí)施例中，數(shù)據(jù)存儲(chǔ)服務(wù)器集群，還用于：周期性地查詢周期增量的字符串操作記錄集合，并對(duì)周期增量的字符串操作記錄集合進(jìn)行處理，生成處理結(jié)果。

在一些實(shí)施例中，數(shù)據(jù)存儲(chǔ)服務(wù)器集群，還用于：對(duì)于周期增量的字符串操作記錄集合中存儲(chǔ)在第二數(shù)據(jù)表的每個(gè)主鍵所對(duì)應(yīng)的字符串操作記錄集合，將該主鍵所對(duì)應(yīng)的字符串操作記錄集合合并，以生成一個(gè)字符串操作記錄。