[發明專利]基于時序邏輯的大數據壓縮方法及復盤播放方法

在審

• 申請號: 202110010089.X
• 申請日: 2021-01-05
• 公開（公告）號: CN112614519A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 鞠儒生;張琪;祝建成;唐見兵;彭勇;秦龍;尹全軍;李印
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G11B20/00
• 分類號: G11B20/00;G06F16/22;G06F16/2455;G06F16/28;G06F3/06;G06F16/215
• 代理公司: 北京融智邦達知識產權代理事務所(普通合伙) 11885
• 代理人: 吳強

本發明公開了一種基于時序邏輯的大數據壓縮方法及復盤播放方法。包括的步驟是：依次根據時刻點獲取所有實體的原始數據；依次查詢所有實體，對同一實體的相鄰時刻點的屬性數據進行對比，如果無差異，則將此數據丟棄，如果存在差異，則將有差異的屬性值提取出來；將同一時刻點所有提取出來的差異數據進行編碼組合成字符串；依次將不同時刻點提取出來的差異數據編碼而成的字符串以鍵?值的形式存儲于Redis緩存庫中，實現對數據的壓縮，在此基礎上，提取播放條所處時刻點的原始數據進行渲染，提取緩存庫中當前播放條所處時刻點的數據進行局部更新渲染，節省了客戶端的資源，并且提升了渲染速度。

技術領域

本發明屬于時序數據處理技術領域，尤其涉及一種基于時序邏輯的大數據壓縮方法及復盤播放方法。

背景技術

傳統的時序邏輯數據復盤是對所記錄的時序過程的快照或線性錄制，是一幀一幀的場景疊加，只能來回觀看，無法根據自身興趣選擇觀看的場景和角度，也無法利用記錄內容開展科學全面的評估分析，大量的信息被舍棄和浪費，如文獻1“宋祥斌，馬鑫基于大數據的演練復盤及應用[J]《電子技術與軟件工程》2019：170-171”所述。

現有時序數據復盤播放系統多采用直接讀取時序數據進行展示的方式，如基于兵棋推演的海上攻防信息系統的復盤回放就是先將回放數據直接加載到客戶端緩存中，通過讀取客戶端緩存中的數據進行復盤播放，如文獻2“方雄利基于兵棋推演的海上攻防信息系統分析與研究[D]武漢工程大學2018”所述。該播放流程過于簡單，在低密度、數據量較小的情況下能夠正常運行，然而面對高密度的大量數據時不僅對硬件設備性能要求較高，而且播放流暢度也相形見絀。

時序大數據具有高密度、多對象和數據量大等特點，導致數據按時間查詢、數據傳輸、對象渲染等方面的效率大大降低，給數據的復盤播放造成了較大的困難，因此一個適合播放流程的時序數據壓縮方法必不可少。時序大數據由于采集時間間隔非常短，一般為0.1S，因此在整個數據集的時間跨度可以達到若干小時以上時，數據量會非常大。現有時序數據壓縮方法有的處理數據結構相對簡單，主要服務于節省數據庫存儲空間，如文獻3“丁良，李在學，蔡富東，呂昌峰，陳雷，甘法剛一種時序數據的壓縮方法、裝置以及設備[P]：中國，CN201911421733.1”所述，無法滿足多對象數據結構需求，有的數據編碼方式相對復雜，如文獻4“王建民，黃向東，喬嘉林，王晨，龍明盛一種自適應編碼長度的時序數據存儲的方法和裝置[P]：中國，CN201711319331.1”所述，解碼無法適應數據復盤播放時的快速、高效需求。

發明內容

本發明要解決的技術問題是怎樣快速、高效的提取時序大數據從而流暢的進行復盤播放，提供了一種基于時序邏輯的大數據壓縮方法及復盤播放方法。

為解決該問題，本發明所采用的技術方案是：

一種基于時序邏輯的大數據壓縮方法，所述大數據存儲在關系型數據庫中，所述大數據中的每個類為一張數據表，每張數據表中的字段包括有數據ID、時刻、實體ID以及類的各屬性，包括以下步驟：

步驟1：依次根據時刻點讀取所有實體的原始數據；

步驟2：依次查詢所有實體，對同一實體的相鄰時刻點的屬性數據進行對比，如果無差異，則將此數據丟棄，如果存在差異，則將有差異的屬性、屬性值以及該實體的“實體ID”提取出來；

步驟3：將同一時刻點所有提取出來的差異數據進行編碼組合成播放器易識別的數據格式字符串，其中實體與實體之間采用自定義的符號間隔開來；

步驟4：依次將不同時刻點提取出來的差異數據編碼而成的字符串以key-value的形式存儲于Redis緩存庫中，其中key為該時間節點的時刻點，value為組合而成的播放器易識別數據。

進一步地，步驟1.3中所述自定義的符號為“”。