[發明專利]海量數據高速緩存的方法及裝置

有效

• 申請號: 201310467372.0
• 申請日: 2013-10-08
• 公開（公告）號: CN103543959A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 林健武;李倬;楊波;凌宗平
• 申請（專利權）人: 深圳市國泰安信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

1.一種海量數據高速緩存的方法，其特征在于，所述方法包括：

將數據庫中獲取的原始數據轉換成標準化的矩陣格式的數據，并將轉換后的數據以mat文件格式緩存；

在接收到用戶的數據請求信息時，判斷所緩存的mat文件中是否存在與所述數據請求信息相對應的全部數據；

若否，從所述數據庫中獲取缺失的數據，所述缺失的數據為所緩存的mat文件中缺失的與所述數據請求信息相對應的數據；

將所述缺失的數據轉換成標準化的矩陣格式的數據后填充到所述mat文件中，并將填充后的所述mat文件中與所述數據請求信息相對應的數據反饋給所述用戶，所述mat文件為與所述數據請求信息相對應的文件；

將所述缺失的數據轉換成標準化的矩陣格式的數據后以mat文件格式緩存。

2.如權利要求1所述的方法，其特征在于，所述將數據轉換成標準化的矩陣格式的數據包括：

從數據庫中獲取cell格式的數據；

根據獲取的所述數據生成行列索引；

根據所述行列索引將所述cell格式的數據轉換成標準化的數值矩陣，并根據所述行列索引對獲取的所述數據進行定位，即每條數據在所述數值矩陣中的行列坐標；

根據所述定位，將獲取的所述數據批量插入到所述數值矩陣的相應位置；

對所述數值矩陣中空缺的位置進行數據填充、插值或標記。

3.如權利要求1所述的方法，其特征在于，從所述數據庫中獲取缺失的數據包括：

以最大化命中率和完成率為目標函數，并通過聚類的方式獲得最大化目標函數，根據所述最大化目標函數確定搜索的次數以及每次搜索的行列索引，并根據所述搜索的次數以及每次搜索的行列索引對所述數據庫進行搜索以獲取所述缺失的數據。

4.如權利要求3所述的方法，其特征在于，所述以最大化命中率和完成率為目標函數，并通過聚類的方式獲得最大化目標函數，根據所述最大化目標函數確定搜索的次數以及每次搜索的行列索引，并根據所述搜索的次數以及每次搜索的行列索引對所述數據庫進行搜索以獲取所述缺失的數據包括：

A、將與所述數據請求信息相對應的mat文件中標準化的矩陣按列進行分段；

B、統計每個列區間缺失數據的數量，并按照所述缺失數據的數量對列區間進行排序；

C、從缺失數據數量最多或最少的列區間開始，進行行變換，并與其相連的列區間進行相同缺失數據行的合并，計算合并后列區間待獲取子矩陣的命中率和完成率，其中所述子矩陣的命中率=子矩陣中缺失數據的數量/子矩陣大小，所述子矩陣的完成率=子矩陣中缺失數據的數量/矩陣缺失數據的總數；

D、以所述子矩陣的命中率和完成率為目標函數進行列區間的搜索合并，以獲得最大化目標函數的合并方式，并根據所述最大化目標函數的合并方式對所述數據庫進行搜索以獲取所述列區間缺失的數據；

E、迭代進行A、B、C、D步驟，直到所述矩陣中所有缺失的數據都被獲取。

5.如權利要求1所述的方法，其特征在于，所述接收用戶的數據請求信息包括：

接收用戶通過統一接口發送的數據請求信息，所述統一接口通過多個數據適配器和數據接口路由實現，所述數據適配器用于對從所述數據庫中獲取的不同的原始數據進行處理，其中每一個數據適配器處理一類數據，所述數據接口路由用于將不同的數據請求信息發送至相應的數據適配器。

6.一種海量數據高速緩存的裝置，其特征在于，所述裝置包括：

第一緩存單元，用于將數據庫中獲取的原始數據轉換成標準化的矩陣格式的數據，并將轉換后的數據以mat文件格式緩存；

判斷單元，用于在接收到用戶的數據請求信息時，判斷所緩存的mat文件中是否存在與所述數據請求信息相對應的全部數據；

數據獲取單元，用于在所述判斷單元判斷結果為否時，從所述數據庫中獲取缺失的數據，所述缺失的數據為所緩存的mat文件中缺失的與所述數據請求信息相對應的數據；

數據填充單元，用于將所述缺失的數據轉換成標準化的矩陣格式的數據后填充到所述mat文件中，并將填充后的所述mat文件中與所述數據請求信息相對應的數據反饋給所述用戶，所述mat文件為與所述數據請求信息相對應的文件；

所述第一緩存單元，還用于將所述缺失的數據轉換成標準化的矩陣格式的數據后以mat文件格式緩存。