[發(fā)明專利]用于處理時(shí)序數(shù)據(jù)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210271367.8
• 申請(qǐng)日: 2012-07-31
• 公開（公告）號(hào): CN103577456A
• 公開（公告）日: 2014-02-12
• 發(fā)明（設(shè)計(jì)）人: 黃勝;王晨;劉凱;陳曉艷
• 申請(qǐng)（專利權(quán)）人: 國際商業(yè)機(jī)器公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 酆迅

技術(shù)領(lǐng)域

本發(fā)明涉及時(shí)序數(shù)據(jù)處理，更具體地，涉及在數(shù)據(jù)庫中存儲(chǔ)和檢索時(shí)間序列數(shù)據(jù)。

背景技術(shù)

在涉及物聯(lián)網(wǎng)/傳感器的應(yīng)用中，需要實(shí)時(shí)處理大規(guī)模的時(shí)序數(shù)據(jù)(Time?Series?Data，亦稱“時(shí)間序列數(shù)據(jù)”)，例如股價(jià)波動(dòng)、氣溫變化、血壓高低、潮汐時(shí)間、等等。時(shí)序數(shù)據(jù)由時(shí)間和值組成。

時(shí)序數(shù)據(jù)包含時(shí)間戳和與時(shí)間戳相關(guān)聯(lián)的值，例如包含來自傳感器的采樣時(shí)間和采樣值。在各種應(yīng)用中，需要將這樣的時(shí)序數(shù)據(jù)持久地存儲(chǔ)在數(shù)據(jù)庫中以便查詢。現(xiàn)有技術(shù)中存儲(chǔ)時(shí)序數(shù)據(jù)的方式，通常是將采樣時(shí)間與采樣值一一對(duì)應(yīng)地存儲(chǔ)在數(shù)據(jù)庫中。與這種方式相關(guān)聯(lián)，為了查詢目的創(chuàng)建索引文件時(shí)，也是以采樣時(shí)間、采樣值分別作為索引文件的鍵字的。這種存儲(chǔ)和索引方式，數(shù)據(jù)和索引文件需要占用的存儲(chǔ)空間較大，而且，在進(jìn)行數(shù)據(jù)查詢時(shí)，由于需要更多的I/O操作，因而影響查詢速度。在持久存儲(chǔ)海量的時(shí)序數(shù)據(jù)時(shí)對(duì)存儲(chǔ)空間的浪費(fèi)以及對(duì)海量的時(shí)序數(shù)據(jù)進(jìn)行查詢時(shí)的產(chǎn)生的巨大的吞吐量的問題，尤其突出。

存在這樣的需要，即以較低的存儲(chǔ)量持久存儲(chǔ)海量的時(shí)序數(shù)據(jù)，同時(shí)還能對(duì)如此存儲(chǔ)的海量的數(shù)序數(shù)據(jù)，進(jìn)行方便快捷的查詢。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的狀況，本發(fā)明的一個(gè)目的是提供一種用于處理時(shí)序數(shù)據(jù)的改進(jìn)的方法和裝置。

一方面，公開一種用于處理時(shí)序數(shù)據(jù)的方法和裝置，該方法包含：接收一個(gè)時(shí)序數(shù)據(jù)集合，其中，時(shí)序數(shù)據(jù)集合的每個(gè)元素包含一個(gè)時(shí)間戳和一個(gè)與時(shí)間戳相關(guān)聯(lián)的原始值，并且，所有的時(shí)間戳表示的時(shí)間，構(gòu)成一個(gè)具有固定時(shí)間間隔的時(shí)間序列；按照預(yù)定的單調(diào)數(shù)值壓縮編碼方案，將每個(gè)原始值轉(zhuǎn)換成占用更小存儲(chǔ)空間的編碼值；將所有的時(shí)間戳所表示的時(shí)間劃分成多個(gè)預(yù)定長(zhǎng)度的時(shí)間區(qū)間；將每個(gè)時(shí)間區(qū)間內(nèi)的所有的時(shí)間戳對(duì)應(yīng)的編碼值裝配成一個(gè)數(shù)據(jù)包，使得該數(shù)據(jù)包中包含按照時(shí)間戳順序排列的編碼值；將每個(gè)數(shù)據(jù)包及其相關(guān)聯(lián)的時(shí)間區(qū)間的標(biāo)識(shí)，存儲(chǔ)在一個(gè)數(shù)據(jù)庫記錄中。

另一方面，公開一種用于處理時(shí)序數(shù)據(jù)的方法和裝置，該方法包含：接收一個(gè)時(shí)序數(shù)據(jù)集合，其中，時(shí)序數(shù)據(jù)集合的每個(gè)元素包含一個(gè)時(shí)間戳和一個(gè)與時(shí)間戳相關(guān)聯(lián)的原始值；按照預(yù)定的單調(diào)數(shù)值壓縮編碼方案，將每個(gè)原始值轉(zhuǎn)換成占用更小存儲(chǔ)空間的編碼值；為編碼值劃分編碼值區(qū)間；針對(duì)每個(gè)編碼值區(qū)間，將處于該編碼值區(qū)間中的每個(gè)編碼值及其時(shí)間戳裝配成數(shù)據(jù)包，使數(shù)據(jù)包中包含每個(gè)編碼值的低位字節(jié)和該編碼值對(duì)應(yīng)的時(shí)間戳；將每個(gè)數(shù)據(jù)包連同表征對(duì)應(yīng)的編碼值區(qū)間的標(biāo)識(shí)，存儲(chǔ)在一個(gè)數(shù)據(jù)庫記錄中。

附圖說明

通過結(jié)合附圖對(duì)本公開示例性實(shí)施方式進(jìn)行更詳細(xì)的描述，本公開的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯，其中，在本公開示例性實(shí)施方式中，相同的參考標(biāo)號(hào)通常代表相同部件。

圖1示出了適于用來實(shí)現(xiàn)本發(fā)明實(shí)施方式的示例性計(jì)算系統(tǒng)100的框圖；

圖2表示按照本發(fā)明一個(gè)實(shí)施例的方法的示意性流程圖；

圖3表示按照本發(fā)明另一個(gè)實(shí)施例的方法的示意性流程圖；

圖4A示意性地表示一個(gè)時(shí)序數(shù)據(jù)集合；

圖4B示意性地表示由傳感器生成的時(shí)序數(shù)據(jù)；

圖5示意性地表示按照本發(fā)明實(shí)施例、對(duì)圖4A所示的時(shí)序數(shù)據(jù)集合中的原始值進(jìn)行變換后生成的編碼值；

圖6示意性地表示按照本發(fā)明一個(gè)實(shí)施例的的用于存儲(chǔ)時(shí)序數(shù)據(jù)的各種數(shù)據(jù)結(jié)構(gòu)；

圖7示意性地表示按照本發(fā)明另一個(gè)實(shí)施例的用于存儲(chǔ)時(shí)序數(shù)據(jù)的各種數(shù)據(jù)結(jié)構(gòu)；

圖8和9分別表示按照本發(fā)明一個(gè)實(shí)施例的裝置的示意性框圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的優(yōu)選實(shí)施方式。雖然附圖中顯示了本公開的優(yōu)選實(shí)施方式，然而應(yīng)該理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了使本公開更加透徹和完整，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。