[發(fā)明專利]支持相似性檢索的高緯缺失時(shí)間序列的壓縮方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910750265.6
• 申請(qǐng)日: 2019-08-14
• 公開(kāi)（公告）號(hào): CN110569275A
• 公開(kāi)（公告）日: 2019-12-13
• 發(fā)明（設(shè)計(jì)）人: 張亮
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)山西清潔能源研究院;清華大學(xué)
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/22;G06F16/215;G06F16/2453
• 代理公司: 11201 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 王艷斌

1.一種支持相似性檢索的高緯缺失時(shí)間序列的壓縮方法，其特征在于，包括以下步驟：

采集高維數(shù)據(jù)序列數(shù)組，其中，采用二進(jìn)制階梯標(biāo)識(shí)進(jìn)行編碼；

對(duì)所述高維數(shù)據(jù)序列數(shù)組的高維時(shí)間序列的進(jìn)行壓縮轉(zhuǎn)換，并確定缺失數(shù)據(jù)點(diǎn)；以及

通過(guò)clustered存儲(chǔ)方式或者unclustered存儲(chǔ)方式存儲(chǔ)不同精確度的階梯型高壓縮比數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用二進(jìn)制階梯標(biāo)識(shí)進(jìn)行編碼，包括：

根據(jù)歷史數(shù)據(jù)獲取分割點(diǎn)；

將所述高維時(shí)間序列的每個(gè)數(shù)值和所述分割點(diǎn)進(jìn)行對(duì)比并使用二進(jìn)制標(biāo)識(shí)進(jìn)行標(biāo)識(shí)，其中，所述時(shí)間序列滿足預(yù)設(shè)條件，則每2個(gè)或3個(gè)數(shù)據(jù)點(diǎn)進(jìn)行均分之后取均值，以支持整個(gè)時(shí)間序列的整體性相似性對(duì)比，并且對(duì)于缺失數(shù)據(jù)，對(duì)原有的數(shù)據(jù)中缺失的所述數(shù)據(jù)點(diǎn)進(jìn)行標(biāo)識(shí)，如果原有數(shù)據(jù)點(diǎn)存在，標(biāo)識(shí)為1，否則標(biāo)識(shí)為0；

將歐幾里得相似性轉(zhuǎn)換為漢明相似性，以相似性對(duì)比，并通過(guò)歐幾里得下限計(jì)算得到下限計(jì)算結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過(guò)clustered存儲(chǔ)方式或者unclustered存儲(chǔ)方式存儲(chǔ)不同精確度的階梯型高壓縮比數(shù)據(jù)，包括：

若時(shí)間序列差別滿足第二預(yù)設(shè)條件，則通過(guò)所述clustered存儲(chǔ)方式存儲(chǔ)；

若所述高維數(shù)據(jù)序列數(shù)組滿足第三預(yù)設(shè)條件，則通過(guò)unclustered存儲(chǔ)方式存儲(chǔ)，其中，標(biāo)識(shí)為列表格式。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：根據(jù)二進(jìn)制編碼進(jìn)行二進(jìn)制索引。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)二進(jìn)制編碼進(jìn)行二進(jìn)制索引，包括：

若所述高維數(shù)據(jù)序列數(shù)組滿足第四預(yù)設(shè)條件，則使用binary string table進(jìn)行索引，其中，每個(gè)分節(jié)點(diǎn)保留本地?cái)?shù)據(jù)的table segment，或者保留master節(jié)點(diǎn)分配的segment的處理，以通過(guò)并行分擔(dān)來(lái)加速索引的檢索查詢；

在索引上查詢到節(jié)點(diǎn)后，如果是所述clustered存儲(chǔ)方式，則獲取當(dāng)前時(shí)間序列，如果是所述unclustered存儲(chǔ)方式，則獲取是時(shí)間序列的當(dāng)前存儲(chǔ)位置。

6.一種支持相似性檢索的高緯缺失時(shí)間序列的壓縮裝置，其特征在于，包括：

采集模塊，用于采集高維數(shù)據(jù)序列數(shù)組，其中，采用二進(jìn)制階梯標(biāo)識(shí)進(jìn)行編碼；

壓縮轉(zhuǎn)換模塊，用于對(duì)所述高維數(shù)據(jù)序列數(shù)組的高維時(shí)間序列的進(jìn)行壓縮轉(zhuǎn)換，并確定缺失數(shù)據(jù)點(diǎn)；以及

存儲(chǔ)模塊，用于通過(guò)clustered存儲(chǔ)方式或者unclustered存儲(chǔ)方式存儲(chǔ)不同精確度的階梯型高壓縮比數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述采集模塊進(jìn)一步用于根據(jù)歷史數(shù)據(jù)獲取分割點(diǎn)，將所述高維時(shí)間序列的每個(gè)數(shù)值和所述分割點(diǎn)進(jìn)行對(duì)比并使用二進(jìn)制標(biāo)識(shí)進(jìn)行標(biāo)識(shí)，其中，所述時(shí)間序列滿足預(yù)設(shè)條件，則每2個(gè)或3個(gè)數(shù)據(jù)點(diǎn)進(jìn)行均分之后取均值，以支持整個(gè)時(shí)間序列的整體性相似性對(duì)比，并且對(duì)于缺失數(shù)據(jù)，對(duì)原有的數(shù)據(jù)中缺失的所述數(shù)據(jù)點(diǎn)進(jìn)行標(biāo)識(shí)，如果原有數(shù)據(jù)點(diǎn)存在，標(biāo)識(shí)為1，否則標(biāo)識(shí)為0，并將歐幾里得相似性轉(zhuǎn)換為漢明相似性，以相似性對(duì)比，并通過(guò)歐幾里得下限計(jì)算得到下限計(jì)算結(jié)果。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述存儲(chǔ)模塊進(jìn)一步用于若時(shí)間序列差別滿足第二預(yù)設(shè)條件，則通過(guò)所述clustered存儲(chǔ)方式存儲(chǔ)，若所述高維數(shù)據(jù)序列數(shù)組滿足第三預(yù)設(shè)條件，則通過(guò)unclustered存儲(chǔ)方式存儲(chǔ)，其中，標(biāo)識(shí)為列表格式。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括：檢索模塊，用于根據(jù)二進(jìn)制編碼進(jìn)行二進(jìn)制索引。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述檢索模塊進(jìn)一步用于若所述高維數(shù)據(jù)序列數(shù)組滿足第四預(yù)設(shè)條件，則使用binary string table進(jìn)行索引，其中，每個(gè)分節(jié)點(diǎn)保留本地?cái)?shù)據(jù)的table segment，或者保留master節(jié)點(diǎn)分配的segment的處理，以通過(guò)并行分擔(dān)來(lái)加速索引的檢索查詢，在索引上查詢到節(jié)點(diǎn)后，如果是所述clustered存儲(chǔ)方式，則獲取當(dāng)前時(shí)間序列，如果是所述unclustered存儲(chǔ)方式，則獲取是時(shí)間序列的當(dāng)前存儲(chǔ)位置。