[發明專利]一種多線程處理數據的方法及裝置

有效

• 申請號: 201410100610.9
• 申請日: 2014-03-18
• 公開（公告）號: CN103885837B
• 公開（公告）日: 2017-07-14
• 發明（設計）人: 余再躍;李東宇
• 申請（專利權）人: 上海大唐移動通信設備有限公司;大唐移動通信設備有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 劉松

技術領域

本發明涉及通信領域，尤其涉及一種多線程處理數據的方法及裝置。

背景技術

基于全球信息系統（Global Information System，GIS）的呼叫詳細記錄-測量報告（Call Detail Log-Measurement Report，CDL-MR）海量智能分析系統，可以通過對無線網絡控制器（Radio Network Controller，RNC）的CDL-MR數據分析，及時發現網絡隱性問題，快速規避網絡潛在風險，保證網絡穩定健康的發展，該分析系統的應用有效提升了用戶終端的服務體驗和品牌忠誠度，降低了網絡優化成本。

CDL-MR海量智能分析系統對RNC的CDL-MR數據的分析過程包括以下兩部分：

第一次分析過程：解析CDL-MR文件中的數據，并將解析出來的數據存入數據庫；

第二次分析過程：從數據庫中讀出CDL-MR文件中的數據，并對該數據進行統計與分析。

在上述第二次分析過程中，為了提高系統的處理速度，通常采用多個線程對數據進行處理；一般的實現方法為：一個線程處理一個RNC的數據，同時對線程的總數進行限制，或者采用線程池技術，所謂線程池是指一種多線程的處理形式，在處理過程中將任務添加到隊列，然后在創建線程后自動啟動隊列中的任務，并按照任務的優先級對任務進行處理。例如：當前有20個RNC的數據需要進行處理，共配置8個線程，則這8個線程首先對20個RNC的數據中的8個RNC的數據進行處理，其他RNC的數據需要等待，如果有線程對某一數據處理完畢，則該線程從剩下的RNC的數據中隨機選擇一個數據進行處理。

但在CDL-MR海量智能分析系統采用多個線程同時處理數據的過程中，由于處理的數據量比較大，并且在處理過程中，各個線程需要存儲大量的數據，如累計計算各種性能指標，內存消耗隨著時間的推移，逐漸增加，此時可能會導致系統的內存不夠，使得系統的處理效率下降。內存消耗的增加所導致的問題主要體現在以下兩方面：

內存消耗的增加導致系統性能的下降，使得系統的處理效率減低；

由于申請的內存有限，例如對于32位機器的應用程序，一個進程申請的內存不能超過2G，隨著內存消耗的逐漸增加，當消耗的內存達到上限時，便會導致線程申請內存失敗，進而線程將無法繼續對數據進行處理。

綜上所述，CDL-MR海量智能分析系統在采用多個線程同時處理數據的過程中，由于處理的數據量比較大，并且線程選擇所要處理的數據是隨機的，沒有考慮到處理該數據所消耗的內存資源量，使得對線程的內存資源使用不合理，這樣將會消耗大量的內存資源，導致系統性能的下降，系統的處理效率降低。

發明內容

本發明提供一種多線程處理數據的方法及裝置，用以實現多個線程同時對大量數據進行處理，合理利用線程的資源，減少線程的資源消耗，提高系統處理數據的效率。

本發明實施例提供一種多線程處理數據的方法，該方法包括：

對于當前采用多線程處理的數據組，當其中的任一數據處理結束時，從未處理的數據中選擇一個數據，并添加到該數據組中；其中，一個線程處理一個數據；

估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，若所述資源總量滿足預設條件，則開始處理該組數據。

從上述方法可以看出，本發明通過估算當前選擇的待處理的數據組所消耗的資源總量，并判斷該資源總量是否滿足預設條件，進而確定是否需要對該數據組中的數據進行處理，本發明在開始處理數據之前，考慮到處理數據所消耗的資源量，使得線程有選擇性地處理數據，合理利用了資源，減少了線程在處理數據過程中的資源消耗，提高了系統處理數據的效率。

較佳地，估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，包括：

在第一次處理該數據組中任一數據結束時，并確定截止此時處理該組數據中每一數據所消耗的資源量；

對確定的截止此時處理該組數據中每一數據所消耗的資源量進行累加，得到資源總量。

這樣，通過確定截止此時處理該組數據中每一數據所消耗的資源量，進而得到處理該組數據所消耗的資源總量，以便后續判斷該資源總量是否滿足預設條件。

較佳地，對于該組數據中的每一數據，確定截止此時處理該數據所消耗的資源量，包括：

獲取預先設定的該數據對應的線程在處理該數據的過程中在時刻t所消耗的資源量達到的峰值M，以及處理該數據所需要消耗的時間T；其中，t小于或等于T，并且，在時刻t之前，該線程處理該數據所消耗的資源量與時間成正比；