[發明專利]數據處理方法、裝置及終端

有效

• 申請號: 201710365867.0
• 申請日: 2017-05-19
• 公開（公告）號: CN107256180B
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 吳康瑞;王高壘;翁梓聰
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/951
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種數據處理方法，其特征在于，所述方法應用于終端，所述終端運行有第一線程和第二線程，所述第一線程為網頁爬蟲線程，所述第二線程用于存儲網頁爬蟲線程爬取的數據，所述第一線程爬取網頁數據與所述第二線程存儲爬取的數據是兩個完全獨立的過程，所述方法包括：

所述終端通過所述第一線程獲取需要存儲的數據，并將所述數據存儲到任務隊列中；

所述終端釋放所述第一線程所占用的系統資源；

所述終端通過所述第二線程在所述任務隊列中獲取所述數據，并將所述數據存儲到數據庫中，其中，所述第二線程是在從獲取的所述第二線程的工作狀態由運行狀態更新為休眠狀態的更新時間開始經過第一預設時長時，由休眠狀態更新為運行狀態，或者，所述第二線程是在從所述第二線程最近一次從所述任務隊列中獲取數據的獲取時間開始經過第二預設時長時，在所述任務隊列中獲取數據；

當所述任務隊列中不存在數據時，所述終端將所述第二線程的工作狀態由運行狀態更新為休眠狀態；

其中，所述任務隊列為無鎖隊列，所述第一線程向所述任務隊列寫入數據時為無鎖寫入過程，所述第二線程從所述任務隊列獲取數據時為無鎖獲取過程。

2.如權利要求1所述的方法，其特征在于，所述終端運行有至少兩個第一線程；

所述通過所述第一線程獲取需要存儲的數據，并將所述數據存儲到任務隊列中，包括：

通過所述至少兩個第一線程分別獲取需要存儲的數據；

通過各個所述第一線程將獲取到的數據并行存儲到所述任務隊列中。

3.如權利要求1所述的方法，其特征在于，所述通過所述第二線程在所述任務隊列中獲取所述數據之前，還包括：

通過所述第二線程檢測所述任務隊列中是否存在數據；

當所述任務隊列中存在數據時，通過所述第二線程在所述任務隊列中獲取所述數據。

4.如權利要求1所述的方法，其特征在于，所述數據庫包括多個，則所述終端運行有多個第二線程，每一個第二線程與一個或者多個數據庫對應；

所述通過所述第二線程在所述任務隊列中獲取所述數據，并將所述數據存儲到數據庫中，包括：

通過各個所述第二線程在所述任務隊列中獲取所述數據，并將所述數據存儲到第二線程對應的數據庫中。

5.一種數據處理裝置，其特征在于，所述裝置應用于終端，所述終端運行有第一線程和第二線程，所述第一線程為網頁爬蟲線程，所述第二線程用于存儲網頁爬蟲線程爬取的數據，所述第一線程爬取網頁數據與所述第二線程存儲爬取的數據是兩個完全獨立的過程，所述裝置包括：

數據獲取單元，用于通過所述第一線程獲取需要存儲的數據，并將所述數據存儲到任務隊列中；

資源釋放單元，用于釋放所述第一線程所占用的系統資源；

數據存儲單元，用于通過所述第二線程在所述任務隊列中獲取所述數據，并將所述數據存儲到數據庫中；

狀態更新單元，用于在所述任務隊列中不存在數據時，將所述第二線程的工作狀態由運行狀態更新為休眠狀態；

其中，所述任務隊列為無鎖隊列，所述第一線程向所述任務隊列寫入數據時為無鎖寫入過程，所述第二線程從所述任務隊列獲取數據時為無鎖獲取過程；

其中，所述裝置還包括：時間獲取單元，用于獲取所述第二線程的工作狀態由運行狀態更新為休眠狀態的更新時間；所述狀態更新單元，還用于當從所述更新時間開始經過第一預設時長時，將所述第二線程的工作狀態由休眠狀態更新為運行狀態；

或者，所述裝置還包括：時間獲取單元，用于得到通過所述第二線程最近一次從所述任務隊列中獲取數據的獲取時間；所述數據存儲單元，還用于當從所述獲取時間開始經過第二預設時長時，通過所述第二線程在所述任務隊列中獲取所述數據。

6.如權利要求5所述的裝置，其特征在于，所述終端運行有至少兩個第一線程；

所述數據獲取單元，具體用于：

通過所述至少兩個第一線程分別獲取需要存儲的數據；

通過各個所述第一線程將獲取到的數據并行存儲到所述任務隊列中。