[發(fā)明專利]一種處理時(shí)間序列數(shù)據(jù)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410287616.1
• 申請(qǐng)日: 2014-06-24
• 公開（公告）號(hào): CN104156385B
• 公開（公告）日: 2018-09-14
• 發(fā)明（設(shè)計(jì)）人: 白文志;王鵬;邊迪;姬廣騰;項(xiàng)奎;趙國(guó)輝
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 劉光明;陸錦華

本發(fā)明提供一種處理時(shí)間序列數(shù)據(jù)的方法和裝置，其占用較小的系統(tǒng)硬件資源并且便于在不同的操作系統(tǒng)之間移植。本發(fā)明的處理時(shí)間序列數(shù)據(jù)的方法包括：接收多個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)并緩存，其中各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)包含以時(shí)間為序的多個(gè)數(shù)據(jù)元；當(dāng)緩存的時(shí)間序列數(shù)據(jù)項(xiàng)的量達(dá)到預(yù)設(shè)值，或者進(jìn)行緩存的時(shí)間達(dá)到預(yù)設(shè)值時(shí)，將多個(gè)緩存的時(shí)間序列數(shù)據(jù)項(xiàng)持久化為一個(gè)數(shù)據(jù)文件，從而得到多個(gè)數(shù)據(jù)文件；對(duì)于各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)，將其在所述數(shù)據(jù)文件中的位置記錄在局部索引中的以該時(shí)間序列數(shù)據(jù)項(xiàng)的標(biāo)識(shí)為標(biāo)識(shí)的條目中，并且數(shù)據(jù)文件與局部索引唯一對(duì)應(yīng)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種處理時(shí)間序列數(shù)據(jù)的方法和裝置。

背景技術(shù)

監(jiān)控系統(tǒng)中，核心功能組件包括：數(shù)據(jù)采集、數(shù)據(jù)保存、告警、數(shù)據(jù)展現(xiàn)，其中，最重要的是監(jiān)控?cái)?shù)據(jù)的保存。監(jiān)控系統(tǒng)中的數(shù)據(jù)一般是時(shí)間序列數(shù)據(jù)，即由多個(gè)以時(shí)間為序的多個(gè)數(shù)據(jù)元組成，例如傳感器每分鐘采集的溫度數(shù)據(jù)、計(jì)算機(jī)每小時(shí)的CPU使用平均值等。監(jiān)控系統(tǒng)如果對(duì)時(shí)效性和準(zhǔn)確性要求比較高，則數(shù)據(jù)采集頻率一般比較高，從而得到的數(shù)據(jù)量通常很大，在這種情況下使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)效果不佳，因此目前的慣常做法是采用HBase等非關(guān)系型數(shù)據(jù)庫(kù)。這些數(shù)據(jù)庫(kù)對(duì)系統(tǒng)的硬件資源占用較大，并且一般不被所有操作系統(tǒng)所支持。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種處理時(shí)間序列數(shù)據(jù)的方法和裝置，其占用較小的系統(tǒng)硬件資源并且便于在不同的操作系統(tǒng)之間移植。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種處理時(shí)間序列數(shù)據(jù)的方法。

本發(fā)明的處理時(shí)間序列數(shù)據(jù)的方法包括：接收多個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)并緩存，其中各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)包含以時(shí)間為序的多個(gè)數(shù)據(jù)元；當(dāng)緩存的時(shí)間序列數(shù)據(jù)項(xiàng)的量達(dá)到預(yù)設(shè)值，或者進(jìn)行緩存的時(shí)間達(dá)到預(yù)設(shè)值時(shí)，將多個(gè)緩存的時(shí)間序列數(shù)據(jù)項(xiàng)持久化為一個(gè)數(shù)據(jù)文件，從而得到多個(gè)數(shù)據(jù)文件；對(duì)于各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)，將其在所述數(shù)據(jù)文件中的位置記錄在局部索引中的以該時(shí)間序列數(shù)據(jù)項(xiàng)的標(biāo)識(shí)為標(biāo)識(shí)的條目中，并且數(shù)據(jù)文件與局部索引唯一對(duì)應(yīng)。

可選地，對(duì)于多個(gè)局部索引，相同標(biāo)識(shí)的數(shù)據(jù)項(xiàng)在不同的局部索引中的位置相同；將時(shí)間序列數(shù)據(jù)項(xiàng)在所述數(shù)據(jù)文件中的位置記錄在局部索引的條目中之后，還包括：將該條目在局部索引中的位置記錄在全局索引的條目中，并且這兩個(gè)條目的標(biāo)識(shí)相同。

可選地，還包括：在所述數(shù)據(jù)文件中記錄該數(shù)據(jù)文件中的各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)的長(zhǎng)度。

可選地，所述數(shù)據(jù)文件及其對(duì)應(yīng)的局部索引的文件名是建立該數(shù)據(jù)文件的時(shí)間。

根據(jù)本發(fā)明的另一方面，提供了一種處理時(shí)間序列數(shù)據(jù)的裝置。

本發(fā)明的處理時(shí)間序列數(shù)據(jù)的裝置包括：緩存模塊，用于接收多個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)并緩存，其中各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)包含以時(shí)間為序的多個(gè)數(shù)據(jù)元；持久化模塊，用于當(dāng)緩存的時(shí)間序列數(shù)據(jù)項(xiàng)量達(dá)到預(yù)設(shè)值，或者進(jìn)行緩存的時(shí)間達(dá)到預(yù)設(shè)值時(shí)，將緩存的時(shí)間序列數(shù)據(jù)項(xiàng)持久化為一個(gè)數(shù)據(jù)文件，從而得到多個(gè)數(shù)據(jù)文件；局部索引模塊，用于對(duì)于各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)，將其在所述數(shù)據(jù)文件中的位置記錄在局部索引中的以該時(shí)間序列數(shù)據(jù)項(xiàng)的標(biāo)識(shí)為標(biāo)識(shí)的條目中，并且數(shù)據(jù)文件與局部索引唯一對(duì)應(yīng)。

可選地，所述局部索引文件還用于：對(duì)于多個(gè)局部索引，將相同標(biāo)識(shí)的數(shù)據(jù)項(xiàng)在不同的局部索引中置于相同的位置；所述裝置還包括全局索引模塊，用于將局部索引的條目的位置記錄在全局索引的條目中，并且這兩個(gè)條目的標(biāo)識(shí)相同。

可選地，所述持久化模塊還用于：在所述數(shù)據(jù)文件中記錄該數(shù)據(jù)文件中的各個(gè)時(shí)間序列數(shù)據(jù)項(xiàng)的長(zhǎng)度。

可選地，所述持久化模塊還用于：以建立所述數(shù)據(jù)文件的時(shí)間為該數(shù)據(jù)文件的文件名；所述局部索引模塊還用于：以數(shù)據(jù)文件的文件名作為該數(shù)據(jù)文件對(duì)應(yīng)的局部索引的文件名。