[發明專利]一種數據文件處理方法及系統

有效

• 申請號: 201510454768.0
• 申請日: 2015-07-29
• 公開（公告）號: CN106708825B
• 公開（公告）日: 2019-09-27
• 發明（設計）人: 王剛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

本發明公開了一種數據文件處理方法及系統，其中該方法包括:獲取磁盤上的數據文件，其中數據文件以共享內存的數據結構進行存放；采用內存映射的方式將數據文件加載到共享內存中，并對共享內存進行初始化；基于該加載過程記錄數據更新信息，數據更新信息包括數據文件的文件名以及第一時間信息，所述第一時間信息為加載過程加載時的時間；根據數據更新信息對數據文件進行讀取處理。本發明實施例通過將磁盤上明文數據結構的數據文件以共享內存的數據結構進行存放，并將其加載到共享內存中，提高了加載效率；支持一處加載、多處使用，即通過共享內存，實現多個進程使用同一份共享內存數據，大大降低了額外的內存占用。

技術領域

本發明屬于通信技術領域，尤其涉及一種數據文件處理方法及系統。

背景技術

隨著互聯網技術的迅速發展，在搜索業務中的檢索串分析和糾錯、個性化推薦業務中的推薦服務等大量的服務中都需要有大量的數據來支持決策。表現在程序中，則是線上服務需要加載大量的數據，每次處理需要進行大量的查表操作。同時，需要按照一定的頻率對數據進行更新，以適應變化。更新的頻率可以是實時(秒級)、準實時(分鐘級)或者定時(天級)更新。

現有技術中，通常每個服務進程都自行負責數據的加載和更新，一般是進程讀取數據文件，并自己構建內存數據結構，為了支持不停服更新，一般的做法是，啟動一個獨立線程進行數據更新，在更新過程中維持舊的數據不變，待新數據加載完成后，刪除老數據。

在對現有技術的研究和實踐過程中，本發明的發明人發現，現有技術中內存數據只能在單個進程中使用，如果多個進程需要使用相同數據，則需要分別加載、分別更新，從而會導致額外的內存占用；并且該數據為明文數據結構，加載時間較長，從而導致加載效率不高。

發明內容

本發明的目的在于提供一種數據文件處理方法及系統，旨在提高數據文件處理準確率以及召回率。

為解決上述技術問題，本發明實施例提供以下技術方案：

一種數據文件處理方法，其中包括：

獲取磁盤上的數據文件，其中所述數據文件以共享內存的數據結構進行存放；

采用內存映射的方式將所述數據文件加載到所述共享內存中，并對所述共享內存進行初始化；

基于該加載過程記錄數據更新信息，所述數據更新信息包括數據文件的文件名以及第一時間信息，所述第一時間信息為所述加載過程加載時的時間；

根據所述數據更新信息對數據文件進行讀取處理。

為解決上述技術問題，本發明實施例還提供以下技術方案：

一種數據文件處理系統，其中包括：

數據管理模塊，用于獲取磁盤上的數據文件，其中所述數據文件以共享內存的數據結構進行存放；采用內存映射的方式將所述數據文件加載到所述共享內存中，并對所述共享內存進行初始化；基于該加載過程記錄數據更新信息，所述數據更新信息包括數據文件的文件名以及第一時間信息，所述第一時間信息為所述加載過程加載時的時間；

數據讀取模塊，用于根據所述數據更新信息對數據文件進行讀取處理。

相對于現有技術，本實施例，先將數據文件以共享內存的數據結構存放在磁盤上，并將采用內存映射的方式將所述數據文件加載到所述共享內存中，并記錄更新信息，以實現對數據文件進行加載處理，進而根據所述數據更新信息對數據文件進行更新和加載，以便進程共同使用共享內存中的數據；本發明實施例通過將磁盤上明文數據結構的數據文件以共享內存的數據結構進行存放，并將其加載到共享內存中，提高了加載效率；支持一處加載、多處使用，即通過共享內存，實現多個進程使用同一份共享內存數據，大大降低了額外的內存占用。

附圖說明