[發明專利]一種面向高并發讀應用的數據處理方法及裝置

有效

• 申請號: 201910834132.7
• 申請日: 2019-09-04
• 公開（公告）號: CN110673952B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 岳耀強
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F12/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭化雨

本發明公開了一種面向高并發讀應用的數據處理方法及裝置，所述方法包括：在內存中劃分存儲空間分別存儲全部待處理數據，建立位置存儲關系表和數據變化狀態變量，所述位置存儲關系表包含每條數據的位置標記值和存儲指針值；當接收到更改數據指令時，通過HASH算法對數據進行映射得到位置標記值，根據位置標記值查找存儲指針值。根據存儲標記值選擇不同的存儲空間分別進行讀取和寫入；寫入操作結束后更新存儲指針值和數據變化狀態變量。通過劃分存儲空間和設置位置指針值，將高并發讀應用中的讀寫操作分離，在數據處理過程中無需使用互斥鎖，提高了系統的響應速度。

技術領域

本發明涉及內存管理領域，特別涉及一種面向高并發讀應用的數據處理方法及裝置。

背景技術

當前，隨著計算機技術的不斷發展，許多新的應用程序相繼出現，高并發讀應用就是其中之一，被廣泛地應用于各種配置應用。高并發讀應用在運行時會使用內存緩存配置信息、用戶信息等重要信息，并通過多個進程不斷訪問內存中的數據，主要完成的工作就是對內存數據的讀取和寫入，其中讀取操作占了大多數。因此，高并發讀應用運行時可以啟動多個進程，其中大部分是讀取進程，少部分是寫入進程和其他進程，通過這些進程對內存數據進行操作。在多個進程對同一條數據進行操作時，應用會先對這條內存數據加互斥鎖，并進行第一進程。在該進程結束后，解鎖相應的內存并完成后續進程。

為了完成對內存數據的讀取和寫入操作，上述方法通過對內存加互斥鎖將不同的進程分開，實現了讀取和寫入的分離。但是，在讀取進程數很大的情況下，應用會頻繁地對內存數據進行加鎖解鎖。而對內存加鎖解鎖的過程會消耗大量時間，大幅度降低系統響應速度。

另外，高并發讀應用在對內存數據進行寫入后，需要將修改后的數據回傳至存儲數據庫，更新數據庫中儲存的數據。當前技術為了更新存儲數據庫，會在寫入進程結束后，立刻將數據庫中的數據和內存數據進行同步。而每次同步都會對數據庫進行訪問，進一步增加進程的持續時間，降低系統響應速度。

發明內容

有鑒于此，本申請提供了一種面向高并發讀應用的數據處理方法及裝置，旨在不對內存數據進行加鎖的情況下完成讀寫操作，并減少數據庫訪問次數，提升系統響應速度。

為了實現上述目的，本申請提供了以下技術方案：

一種面向高并發讀應用的數據處理方法，該方法包括：

在內存中劃分至少兩個存儲空間存儲全部數據并建立位置存儲關系表和數據變化狀態變量；其中，所述位置存儲關系表包含每條數據的位置標記值和存儲指針值，所述位置標記值是對每條數據經過運算得到的，所述存儲指針值指向數據的具體存儲位置；

接收到對目標數據的處理指令后，計算所述目標數據的位置標記值并根據所述位置標記值查找存儲指針值；

當所述處理指令為更改指令時，選擇所述存儲指針值指向的存儲空間進行讀取操作，并選擇一個所述存儲指針值指向的存儲空間以外的其他存儲空間進行寫入操作，在所述寫入操作結束后，更改存儲指針值指向寫入數據的存儲空間并更新所述數據變化狀態變量。

可選地，在內存中劃分存儲空間并建立位置存儲關系表包括：

在內存中劃分第一、第二存儲空間，將應用中全部數據分別復制到所述第一、第二存儲空間；

通過HASH算法對每條數據進行處理，得到與所述數據對應的位置標記值；

根據所述數據所在的存儲空間，確定與數據對應的存儲指針值，所述存儲指針值用0/1表示；

建立位置存儲關系表，所述位置存儲關系表包括位置標記值和存儲指針值。

可選地，計算所述數據的位置標記值并根據所述位置標記值查找存儲指針值包括：

通過HASH算法對所述目標數據進行處理，得到與其對應的位置標記值；