[發明專利]一種多線程處理數據的方法及裝置

有效

• 申請號: 201410100610.9
• 申請日: 2014-03-18
• 公開（公告）號: CN103885837B
• 公開（公告）日: 2017-07-14
• 發明（設計）人: 余再躍;李東宇
• 申請（專利權）人: 上海大唐移動通信設備有限公司;大唐移動通信設備有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 劉松

1.一種多線程處理數據的方法，其特征在于，該方法包括：

對于當前采用多線程處理的數據組，當其中的任一數據處理結束時，從未處理的數據中選擇一個數據，并添加到該數據組中；其中，一個線程處理一個數據；

估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，若所述資源總量滿足預設條件，則開始處理該組數據；

其中，所述估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，包括：

在第一次處理該數據組中任一數據結束時，確定截止此時處理該組數據中每一數據所消耗的資源量；

對確定的截止此時處理該組數據中每一數據所消耗的資源量進行累加，得到資源總量；

其中，對于該組數據中的每一數據，確定截止此時處理該數據所消耗的資源量，包括：

獲取預先設定的該數據對應的線程在處理該數據的過程中在時刻t所消耗的資源量達到的峰值M，以及處理該數據所需要消耗的時間T；其中，t小于或等于T，并且，在時刻t之前，該線程處理該數據所消耗的資源量與時間成正比；

利用該線程處理該數據所消耗的資源量與時間成正比的比例關系，以及所述t、M、T的值，確定截止此時處理該數據所消耗的資源量。

2.如權利要求1所述的方法，其特征在于，判斷估算的所述資源總量是否滿足預設條件的方法包括：

判斷估算的所述資源總量是否大于預設的資源總量的最大值，如果是，則更新該組數據；否則，判斷估算的所述資源總量是否小于預設的資源總量的最小值，如果是，則更新該組數據，否則，確定估算的所述資源總量滿足預設條件。

3.如權利要求2所述的方法，其特征在于，該方法還包括：

當更新后的任意一組數據對應的估算出的資源總量均大于所述預設的資源總量的最大值時，若當前處理的數據組為首次組成的數據組時，則減少數據組中的數據個數，以及處理該組數據所需線程的個數，并重新估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，并判斷該資源總量是否滿足預設條件；或者，若當前處理的數據組不是首次組成的數據組，則當前處理數據結束的線程停止處理數據；

當更新后的任意一組數據對應的估算出的資源總量均小于所述預設的資源總量的最小值時，則從更新后的數據組中選擇對應的估算出的資源總量最大的數據組進行數據處理。

4.如權利要求1所述的方法，其特征在于，在開始處理該組數據之后，當其中的任一數據處理結束時，重新從未處理的數據中選擇一個數據，并添加到該數據組中，并估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，若所述資源總量滿足預設條件，則重新開始處理該組數據。

5.一種多線程處理數據的裝置，其特征在于，該裝置包括：

選擇單元，用于對于當前采用多線程處理的數據組，當其中的任一數據處理結束時，從未處理的數據中選擇一個數據，并添加到該數據組中；其中，一個線程處理一個數據；

處理單元，用于估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，若所述資源總量滿足預設條件，則開始處理該組數據；

其中，所述處理單元估算在第一次處理該數據組中任一數據結束時，處理該數據組中的數據所消耗的資源總量，具體用于：

在第一次處理該數據組中任一數據結束時，確定截止此時處理該組數據中每一數據所消耗的資源量；

對確定的截止此時處理該組數據中每一數據所消耗的資源量進行累加，得到資源總量；

其中，對于該組數據中的每一數據，所述處理單元在確定截止此時處理該數據所消耗的資源量時，具體用于：

獲取預先設定的該數據對應的線程在處理該數據的過程中在時刻t所消耗的資源量達到的峰值M，以及處理該數據所需要消耗的時間T；其中，t小于或等于T，并且，在時刻t之前，該線程處理該數據所消耗的資源量與時間成正比；

利用該線程處理該數據所消耗的資源量與時間成正比的比例關系，以及所述t、M、T的值，確定截止此時處理該數據所消耗的資源量。