[發(fā)明專利]基于時(shí)間序列的大數(shù)據(jù)編解碼方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110261839.0
• 申請(qǐng)日: 2021-03-10
• 公開（公告）號(hào): CN113094346A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 鄭叔亮
• 申請(qǐng)（專利權(quán)）人: 北京四達(dá)時(shí)代軟件技術(shù)股份有限公司
• 主分類號(hào): G06F16/174
• 分類號(hào): G06F16/174;G06F16/2458;H03M7/40
• 代理公司: 北京市萬慧達(dá)律師事務(wù)所 11111
• 代理人: 黃玉東

1.一種基于時(shí)間序列的大數(shù)據(jù)編解碼方法，其特征在于，包括：

獲取基于時(shí)間序列的原數(shù)據(jù)，采用預(yù)設(shè)的數(shù)據(jù)模式對(duì)所述原數(shù)據(jù)進(jìn)行編碼形成數(shù)據(jù)幀；

將新產(chǎn)生的數(shù)據(jù)幀與同一數(shù)據(jù)模式下的參考數(shù)據(jù)幀做差分運(yùn)算，并以差分值更新所述數(shù)據(jù)幀中的屬性值；

將所述數(shù)據(jù)幀切分成多個(gè)數(shù)據(jù)傳輸片段，通過對(duì)所述傳輸片段壓縮后封裝成數(shù)據(jù)傳輸單元并由編碼段發(fā)送至解碼端；

利用解碼端對(duì)所述數(shù)據(jù)傳輸單元解壓縮后復(fù)原所述傳輸片段，組裝得到所述數(shù)據(jù)幀存儲(chǔ)于數(shù)據(jù)系統(tǒng)中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對(duì)結(jié)構(gòu)化和/或半結(jié)構(gòu)化的原數(shù)據(jù)采用二進(jìn)制編碼結(jié)合重復(fù)字符步長編碼的方式定義數(shù)據(jù)模式；

所述數(shù)據(jù)模式中將字節(jié)的8比特位拆分成兩部分，第一部分表示字符的比特編碼，第二部分表示字符的連續(xù)重復(fù)次數(shù)；

所述數(shù)據(jù)模式中包括字符與比特編碼的對(duì)應(yīng)關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，第一部分的比特編碼通過前6位比特編碼表示，第二部分的比特編碼通過后2位比特編碼表示。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，采用預(yù)設(shè)的數(shù)據(jù)模式對(duì)所述原數(shù)據(jù)進(jìn)行編碼形成數(shù)據(jù)幀的方法包括：

識(shí)別原數(shù)據(jù)中的屬性部和屬性值部，并分別構(gòu)建屬性部的第一編碼結(jié)構(gòu)和屬性值部的第二編碼結(jié)構(gòu)；

將屬性部中數(shù)據(jù)模式名稱的字節(jié)數(shù)N1存入第一編碼結(jié)構(gòu)的第1字節(jié)位，接著將數(shù)據(jù)模式名稱的N1個(gè)字節(jié)依次存入后續(xù)的N1個(gè)字節(jié)位，再接著將其中屬性的個(gè)數(shù)N2存入后續(xù)的1個(gè)字節(jié)位中，緊接著在后續(xù)的N2個(gè)字節(jié)位中依次存儲(chǔ)每個(gè)屬性的字節(jié)長度，最后接入N2個(gè)字節(jié)段，每個(gè)字節(jié)段中包含了所對(duì)應(yīng)屬性的類型編碼、取值范圍和屬性名稱的全部字節(jié)內(nèi)容，完成對(duì)屬性部中數(shù)據(jù)模式段的編碼；

解析原數(shù)據(jù)中數(shù)據(jù)模式的字節(jié)碼，得到屬性名稱的有序列表，依序?qū)τ行蛄斜碇械膶傩灾颠M(jìn)行二進(jìn)制編碼，并將編碼后的屬性值順序組裝成至少一個(gè)數(shù)據(jù)段依序存入第二編碼結(jié)構(gòu)，完成對(duì)屬性值部中數(shù)據(jù)段的編碼；

根據(jù)數(shù)據(jù)幀序列號(hào)生成器生成的序列號(hào)、數(shù)據(jù)模式段長度、數(shù)據(jù)段數(shù)量、數(shù)據(jù)生成時(shí)間戳和采集時(shí)間戳編碼數(shù)據(jù)幀頭的字節(jié)碼數(shù)據(jù)；

按照數(shù)據(jù)幀頭、數(shù)據(jù)模式段和數(shù)據(jù)段的順序組裝形成所述數(shù)據(jù)幀。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將新產(chǎn)生的數(shù)據(jù)幀與同一數(shù)據(jù)模式下的參考數(shù)據(jù)幀做差分運(yùn)算，并以差分值更新所述數(shù)據(jù)幀中的屬性值的方法包括：

指定一個(gè)數(shù)據(jù)幀為參考數(shù)據(jù)幀，通過解析參考數(shù)據(jù)幀中的數(shù)據(jù)模式段長度和數(shù)據(jù)段數(shù)量，定位起始數(shù)據(jù)段的偏移量；

解析參考數(shù)據(jù)幀中的數(shù)據(jù)模式段得到每個(gè)屬性值的字節(jié)數(shù)，通過匯總每個(gè)屬性值的字節(jié)數(shù)得到每個(gè)數(shù)據(jù)段的長度；

根據(jù)起始數(shù)據(jù)段的偏移量、每個(gè)數(shù)據(jù)段的長度以及數(shù)據(jù)模式段長度和數(shù)據(jù)段數(shù)量得到每個(gè)數(shù)據(jù)段的偏移量；

基于上述邏輯識(shí)別出同一數(shù)據(jù)模式下新產(chǎn)生數(shù)據(jù)幀中各數(shù)據(jù)段的屬性值，通過比較新產(chǎn)生數(shù)據(jù)幀與參考數(shù)據(jù)幀中屬性值的差值，并將新產(chǎn)生數(shù)據(jù)幀中的屬性值更新為差值，同時(shí)更新數(shù)據(jù)模式段中屬性的類型編碼。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在步驟將所述數(shù)據(jù)幀切分成多個(gè)數(shù)據(jù)傳輸片段，通過對(duì)所述傳輸片段壓縮后封裝成數(shù)據(jù)傳輸單元并由編碼段發(fā)送至解碼端之前還包括：

預(yù)設(shè)數(shù)據(jù)傳輸片段的數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)傳輸片段包括頭部和數(shù)據(jù)體；

所述頭部的信息包括數(shù)據(jù)傳輸片段的唯一序號(hào)編碼、數(shù)據(jù)傳輸片段的長度、標(biāo)志位、數(shù)據(jù)幀標(biāo)識(shí)和數(shù)據(jù)幀長度，所述數(shù)據(jù)幀標(biāo)識(shí)包括數(shù)據(jù)模式序號(hào)和數(shù)據(jù)幀序號(hào)；

所述數(shù)據(jù)體包括數(shù)據(jù)段的屬性值。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，將所述數(shù)據(jù)幀切分成多個(gè)數(shù)據(jù)傳輸片段的方法包括：

參考預(yù)設(shè)的數(shù)據(jù)傳輸片段的數(shù)據(jù)結(jié)構(gòu)，將所述數(shù)據(jù)幀中的多個(gè)數(shù)據(jù)段切分成多個(gè)數(shù)據(jù)傳輸片段。