[發(fā)明專利]鍵值對(duì)數(shù)據(jù)插入列式數(shù)據(jù)庫(kù)的系統(tǒng)及實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111324503.0
• 申請(qǐng)日: 2021-11-10
• 公開（公告）號(hào): CN114116739B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 李沅澤;趙子墨;董晨晨;李照川;孫永超;郭亞琨
• 申請(qǐng)（專利權(quán)）人: 浪潮卓數(shù)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/22;G06F16/25;G06F16/215;G06F9/54;G06F8/61
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫園園

本發(fā)明公開了鍵值對(duì)數(shù)據(jù)插入列式數(shù)據(jù)庫(kù)的系統(tǒng)及實(shí)現(xiàn)方法，屬于計(jì)算機(jī)軟件技術(shù)領(lǐng)域，本發(fā)明要解決的技術(shù)問題為如何能夠快速準(zhǔn)確的將數(shù)據(jù)切分并落庫(kù)，為后續(xù)的畫像數(shù)據(jù)分析提供便利，采用的技術(shù)方案為：該系統(tǒng)包括鍵值對(duì)數(shù)據(jù)處理程序模塊、列式數(shù)據(jù)庫(kù)裝載程序模塊及AppImage打包和部署模塊；鍵值對(duì)數(shù)據(jù)處理程序模塊用于將鍵值對(duì)數(shù)據(jù)拆分、清洗，并處理成能夠直接導(dǎo)入列式存儲(chǔ)數(shù)據(jù)庫(kù)的格式，再將數(shù)據(jù)存入消息隊(duì)列中；列式數(shù)據(jù)庫(kù)裝載程序模塊用于取消息隊(duì)列中的數(shù)據(jù)，將消息隊(duì)列中的數(shù)據(jù)導(dǎo)入列式存儲(chǔ)數(shù)據(jù)庫(kù)；AppImage打包和部署模塊用于將鍵值對(duì)數(shù)據(jù)處理程序模塊和列式數(shù)據(jù)庫(kù)裝載程序模塊分別打包，生成兩個(gè)AppImage文件。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)軟件技術(shù)領(lǐng)域，具體地說是鍵值對(duì)數(shù)據(jù)插入列式數(shù)據(jù)庫(kù)的系統(tǒng)及實(shí)現(xiàn)方法。

背景技術(shù)

目前線上服務(wù)的埋點(diǎn)數(shù)據(jù)、網(wǎng)關(guān)日志以及iot設(shè)備信號(hào)數(shù)據(jù)等都是鍵值對(duì)格式的數(shù)據(jù)，按照特定的格式處理并存儲(chǔ)這些鍵值對(duì)數(shù)據(jù)，對(duì)研發(fā)、運(yùn)營(yíng)、決策都起著至關(guān)重要的意義。

鍵值對(duì)數(shù)據(jù)是由鍵和值兩部分組成的數(shù)據(jù)。它是各種各樣、不盡相同的，它的層次可以是2層、3層或者更多層數(shù)，而且存儲(chǔ)的數(shù)據(jù)可以是簡(jiǎn)單的字符串，也可以是列表或者對(duì)象。JSON(JavaScript?Object?Notation)是當(dāng)前行業(yè)內(nèi)使用最為廣泛的數(shù)據(jù)傳輸格式之一。它是一種輕量級(jí)的數(shù)據(jù)交換格式，基于ECMAScript(w3c制定的JS規(guī)范)的一個(gè)子集，，采用完全獨(dú)立于編程語(yǔ)言的文本格式來存儲(chǔ)和表示數(shù)據(jù)。在JSON出現(xiàn)之前，一直用XML來傳遞數(shù)據(jù)。因?yàn)閄ML是一種純文本格式，所以它適合在網(wǎng)絡(luò)上交換數(shù)據(jù)。XML本身不算復(fù)雜，但是加上DTD、XSD、XPath、XSLT等一大堆復(fù)雜的規(guī)范以后，XML的使用變得越來越復(fù)雜。由于JSON非常簡(jiǎn)單，很快就風(fēng)靡Web世界，并且成為ECMA標(biāo)準(zhǔn)。幾乎所有編程語(yǔ)言都有解析JSON的庫(kù)，而在JavaScript中，可以直接使用JSON，因?yàn)镴avaScript內(nèi)置了JSON的解析。把任何JavaScript對(duì)象變成JSON，就是把這個(gè)對(duì)象序列化成一個(gè)JSON格式的字符串，這樣才能夠通過網(wǎng)絡(luò)傳遞給其他計(jì)算機(jī)。如果我們收到一個(gè)JSON格式的字符串，只需要把它反序列化成一個(gè)JavaScript對(duì)象，就可以在JavaScript中直接使用這個(gè)對(duì)象了。

列式存儲(chǔ)是不同于行式存儲(chǔ)的、按照列來存儲(chǔ)數(shù)據(jù)的另一種數(shù)據(jù)庫(kù)底層組織數(shù)據(jù)的方式。相比于傳統(tǒng)的行式存儲(chǔ)，列式存儲(chǔ)可以動(dòng)態(tài)地增加新的字段，所以它的結(jié)構(gòu)更加靈活，也更加節(jié)省空間。行式存儲(chǔ)一行數(shù)據(jù)只需一份主鍵，列式存儲(chǔ)一行數(shù)據(jù)需要多份主鍵。行式存儲(chǔ)存的都是業(yè)務(wù)數(shù)據(jù)，列式存儲(chǔ)除了業(yè)務(wù)數(shù)據(jù)外，還要存儲(chǔ)列名。而HBase相比于其他傳統(tǒng)數(shù)據(jù)庫(kù)的另一個(gè)特點(diǎn)是，它的更新操作其實(shí)不是傳統(tǒng)意義上的更新(用新的數(shù)據(jù)替換或者覆蓋原有數(shù)據(jù))，而是在保留舊數(shù)據(jù)的基礎(chǔ)上，插入了新的數(shù)據(jù)，只是舊數(shù)據(jù)和新數(shù)據(jù)的timestamp不同。所以它可以方便地調(diào)用多個(gè)版本、也就是不同時(shí)期的數(shù)據(jù)。

目前線上服務(wù)每天都會(huì)產(chǎn)生大量的鍵值對(duì)數(shù)據(jù)，故如何能夠快速準(zhǔn)確的將數(shù)據(jù)切分并落庫(kù)，為后續(xù)的畫像數(shù)據(jù)分析提供便利是目前亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)任務(wù)是提供鍵值對(duì)數(shù)據(jù)插入列式數(shù)據(jù)庫(kù)的系統(tǒng)及實(shí)現(xiàn)方法，來解決如何能夠快速準(zhǔn)確的將數(shù)據(jù)切分并落庫(kù)，為后續(xù)的畫像數(shù)據(jù)分析提供便利的問題。

本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，一種鍵值對(duì)數(shù)據(jù)插入列式數(shù)據(jù)庫(kù)的系統(tǒng)，該系統(tǒng)包括，

鍵值對(duì)數(shù)據(jù)處理程序模塊，用于將鍵值對(duì)數(shù)據(jù)拆分、清洗，并處理成能夠直接導(dǎo)入列式存儲(chǔ)數(shù)據(jù)庫(kù)的格式，再將數(shù)據(jù)存入消息隊(duì)列中；其中，消息隊(duì)列用于數(shù)據(jù)傳輸；

列式數(shù)據(jù)庫(kù)裝載程序模塊，用于取消息隊(duì)列中的數(shù)據(jù)，將消息隊(duì)列中的數(shù)據(jù)導(dǎo)入列式存儲(chǔ)數(shù)據(jù)庫(kù)；

AppImage打包和部署模塊，用于將鍵值對(duì)數(shù)據(jù)處理程序模塊和列式數(shù)據(jù)庫(kù)裝載程序模塊分別打包，生成兩個(gè)AppImage文件。

作為優(yōu)選，所述AppImage打包和部署模塊的打包環(huán)境要求如下：