[發(fā)明專利]數(shù)據(jù)處理的方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410594676.8
• 申請日: 2014-10-29
• 公開（公告）號: CN105550180B
• 公開（公告）日: 2019-02-12
• 發(fā)明（設(shè)計）人: 王鋒
• 申請（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/2455
• 代理公司: 北京鼎佳達知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

1.一種數(shù)據(jù)處理的方法，其特征在于，所述方法包括：

對檢索請求涉及的文件集合進行分組，獲得多個文件子集；

為第一個文件子集分配緩存，以讀取所述第一個文件子集中的數(shù)據(jù)；

在所述第一個文件子集中的數(shù)據(jù)讀取完畢后，釋放所述第一個文件子集的緩存，并為下一文件子集分配緩存，以讀取所述下一文件子集中的數(shù)據(jù)；

在讀取到各個文件子集的數(shù)據(jù)后，對所有文件子集的數(shù)據(jù)進行合并，得到向客戶端返回的用戶數(shù)據(jù)；

所述對檢索請求涉及的文件集合進行分組，包括：

根據(jù)當前的內(nèi)存占用情況確定分組系數(shù)；

通過分組系數(shù)以及所述文件集合中的文件總數(shù)，對所述文件集合進行分組。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

當前內(nèi)存占用比例與分組后的文件子集數(shù)量之間呈正相關(guān)關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分組系數(shù)為每個文件子集中的文件數(shù)量，所述文件數(shù)量與所述當前內(nèi)存占用比例之間呈負相關(guān)關(guān)系。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分組系數(shù)為文件子集對所述文件集合的集合占比，所述集合占比與所述當前內(nèi)存占用比例之間呈負相關(guān)關(guān)系。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分組系數(shù)為文件子集數(shù)量，所述文件子集數(shù)量與所述當前內(nèi)存占用比例之間呈正相關(guān)關(guān)系。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述對檢索請求涉及的文件集合進行分組之前，所述方法進一步包括：

當存在多個檢索請求時，對檢索對象相同的檢索請求進行歸一化處理。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括：

當存在多個檢索請求時，優(yōu)先為第一優(yōu)先級的檢索請求分配緩存；

其中，所述第一優(yōu)先級檢索請求的劃分依據(jù)包括：

檢索請求的緊急程度、檢索請求的來源分類、檢索請求涉及的文件總數(shù)、檢索請求涉及的文件子集數(shù)以及檢索請求中文件子集的文件數(shù)。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，當內(nèi)存空閑時，所述方法進一步包括：

為同一檢索請求的至少兩個文件子集同時分配緩存。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，對請求超過預(yù)設(shè)頻率閾值或預(yù)設(shè)次數(shù)閾值的檢索請求，在讀取其用戶數(shù)據(jù)之后，所述方法進一步包括：

將所述用戶數(shù)據(jù)寫入緩存；

當再次接收到同一檢索請求時，從所述緩存中獲取所述用戶數(shù)據(jù)。

10.一種數(shù)據(jù)處理的裝置，其特征在于，所述裝置包括：

分組單元，用于對檢索請求涉及的文件集合進行分組，獲得多個文件子集；

分配單元，用于為所述分組單元劃分的第一個文件子集分配緩存；

讀取單元，用于從所述分配單元分配的緩存中讀取所述分組單元劃分的所述第一個文件子集中的數(shù)據(jù)；

所述分配單元，還用于在所述第一個文件子集中的數(shù)據(jù)讀取完畢后，釋放所述第一個文件子集的緩存，并為所述分組單元劃分的下一文件子集分配緩存；

讀取單元，還用于從所述分配單元分配的緩存中讀取所述分組單元劃分的所述下一文件子集中的數(shù)據(jù)；

處理單元，用于在所述讀取單元讀取到各個文件子集的數(shù)據(jù)后，對所述讀取單元讀取的所有文件子集的數(shù)據(jù)進行合并，得到向客戶端返回的用戶數(shù)據(jù)；

所述分組單元，包括：

確定模塊，用于根據(jù)當前的內(nèi)存占用情況確定分組系數(shù)；

劃分模塊，用于通過所述確定模塊確定的所述分組系數(shù)以及所述文件集合中的文件總數(shù)，對所述文件集合進行分組。

11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，

當前內(nèi)存占用比例與分組后的文件子集數(shù)量之間呈正相關(guān)關(guān)系。