[發明專利]一種車輛物聯網云存儲系統數據分組方法

有效

• 申請號: 202010507955.1
• 申請日: 2020-06-05
• 公開（公告）號: CN112083877B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 朱東杰;杜海文;王大方;楊博文;劉學;胡浩
• 申請（專利權）人: 哈爾濱工業大學（威海）;蘇州玄盾汽車科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 威海聚睿知識產權代理事務所(普通合伙) 37352
• 代理人: 宋立國

1.一種車輛物聯網云存儲系統數據分組方法，其特征在于包括如下步驟：

步驟一，收集車輛物聯網云存儲系統的數據訪問日志，得到數據歷史訪問序列；

步驟二，在車輛物聯網云存儲系統中建立FIFO緩存；

步驟三，按照數據歷史訪問序列順序，將數據加入FIFO緩存，當FIFO緩存中替出數據總量不小于FIFO緩存空間時，將FIFO緩存中所有數據的塊地址集合記為一次緩存事務，將替出數據總量重置為0，直到數據歷史訪問序列中的數據全部通過FIFO緩存，為緩存事務依次記序號；

步驟四，分別查找數據訪問日志中每個數據的塊地址出現過的緩存事務，為每個數據構造數據訪問特征的向量；

步驟五，計算全部數據間的數據訪問特征的向量距離，如果兩個數據間的數據訪問特征的向量距離小于兩個數據訪問特征的向量的模的平均值的10%，將它們合并成一個初步分組；

步驟六，計算初步分組間訪問關聯關系強度，建立并初始化數據訪問關系圖；初始化的數據訪問關系圖為以初步分組為點的圖；

步驟七，以初步分組間訪問關聯關系為邊，將邊依次加入初始化的數據訪問關系圖中；如果將邊依次加入初始化的數據訪問關系圖的過程中出現完全子圖，立即將完全子圖中的全部點合并成新的點，直到所有邊全部加入初始化的數據訪問關系圖；

所述的FIFO緩存空間大小為存儲節點運行時緩存空間大小的10%-100%；

步驟四中所述的分別查找數據訪問日志中每個數據的塊地址出現過的緩存事務的方法為：為緩存事務中的每個數據塊地址建立倒排索引；獲得每個數據塊地址所在的緩存事務序號集合；所述為每個數據構造數據訪問特征的向量的方法為：構造一個維數為緩存事務總數量的列向量，列向量的維度與緩存事務一一對應，列向量的維度的順序與緩存事務序號順序相同，出現該數據的塊地址的緩存事務所對應的列向量的維度的值設為1，列向量的其他維度的值記為0；

步驟五中所述的向量的模的計算方式為：向量中每個向量值的平方值相加后的正平方根值；

步驟六中所述的初步分組間訪問關聯關系強度的計算方法為：分別找到每一個緩存事務中每一個數據的塊地址所在的初步分組，得到該緩存事務對應的初步分組集合，將集合中的初步分組兩兩建立一次訪問關聯關系；統計得到的初步分組間建立訪問關聯關系的總數量為初步分組間訪問關聯關系強度；

步驟七中所述的將邊依次加入初始化的數據訪問關系圖中的順序為，按照初步分組間訪問關聯關系總數量從高到低的順序。