[發明專利]數據處理方法、裝置及終端

有效

• 申請號: 201710365867.0
• 申請日: 2017-05-19
• 公開（公告）號: CN107256180B
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 吳康瑞;王高壘;翁梓聰
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/951
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明實施例公開了數據處理方法、裝置及終端，其中，所述方法應用于終端，所述終端運行有第一線程和第二線程，所述方法包括：通過所述第一線程獲取需要存儲的數據，并將所述數據存儲到任務隊列中；釋放所述第一線程所占用的系統資源，所述系統資源包括CPU資源、內存資源或者I/O資源；通過所述第二線程在所述任務隊列中獲取所述數據，并將所述數據存儲到數據庫中。采用本發明實施例，可以提高系統資源利用率，并提升第一線程獲取數據的數據獲取效率。

技術領域

本發明涉及互聯網技術領域，尤其涉及數據處理方法、裝置及終端。

背景技術

隨著互聯網技術的發展，互聯網中的數據呈爆發式增長，為了提升數據處理速度，可以采用多線程技術進行數據處理。以網絡爬蟲為例，網絡爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。在傳統網頁爬取技術中，為了提升網頁爬取速度，往往采用多線程技術進行爬取。其中每個線程各自負責網頁數據的解析和持久化，例如采用三個線程進行網頁爬取，第一線程對網頁數據進行解析，并將解析得到的網頁數據寫入數據庫之后才可以釋放占用的系統資源，同理，第二線程對網頁數據進行解析，并將解析得到的網頁數據寫入數據庫之后才可以釋放占用的系統資源，第三線程對網頁數據進行解析，并將解析得到的網頁數據寫入數據庫之后才可以釋放占用的系統資源，則各個線程占用的系統資源的時間較長，降低系統資源利用率。另外，每個線程在爬取網頁數據、對爬取到的網頁數據進行解析以及持久化存儲之后，才可以結束本次流程，以便再次執行爬取網頁數據、對爬取到的網頁數據進行解析以及持久化存儲的操作，導致爬取網頁數據的效率較低。

發明內容

本發明實施例提供一種數據處理方法、裝置及終端，可提高系統資源利用率，并提升第一線程獲取數據的數據獲取效率。

一方面，本發明實施例提供了一種數據處理方法，所述方法應用于終端，所述終端運行有第一線程和第二線程，所述方法包括：

通過所述第一線程獲取需要存儲的數據，并將所述數據存儲到任務隊列中；

釋放所述第一線程所占用的系統資源，所述系統資源包括CPU資源、內存資源或者I/O資源；

通過所述第二線程在所述任務隊列中獲取所述數據，并將所述數據存儲到數據庫中。

相應地，本發明實施例還提供了一種數據處理裝置，所述裝置應用于終端，所述終端運行有第一線程和第二線程，所述裝置包括：

數據獲取單元，用于通過所述第一線程獲取需要存儲的數據，并將所述數據存儲到任務隊列中；

資源釋放單元，用于釋放所述第一線程所占用的系統資源，所述系統資源包括CPU資源、內存資源或者I/O資源；

數據存儲單元，用于通過所述第二線程在所述任務隊列中獲取所述數據，并將所述數據存儲到數據庫中。

相應地，本發明實施例還提供了一種終端，該終端包括所述的數據處理裝置。

本發明實施例可以通過第一線程獲取需要存儲的數據，并將該數據存儲到任務隊列中之后，釋放第一線程所占用的系統資源，可提升資源利用率，另外，通過第一線程獲取需要存儲的數據，然后通過第二線程將該數據存儲到數據庫，可提升第一線程獲取數據的數據獲取效率。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明實施例的一種數據處理系統的結構示意圖；

圖2是本發明實施例中的一種數據處理方法的流程示意圖；