[發明專利]從網絡中獲取數據的方法和設備

有效

• 申請號: 201310238057.0
• 申請日: 2013-06-17
• 公開（公告）號: CN103336671A
• 公開（公告）日: 2013-10-02
• 發明（設計）人: 楊濤;呂本偉
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;董垚

1.一種根據來自客戶端的請求從網絡中獲取數據的方法，包括步驟：

接收來自客戶端的數據獲取請求，

根據該數據獲取請求中的信息，從網絡中獲取數據，將所獲取的數據存儲到第一存儲器中，以及

根據該數據獲取請求中的信息以及所獲取的數據存儲在第一存儲器中的數據標識生成該數據的元數據信息，并且將所生成的元數據信息存儲到第二存儲器中。

2.如權利要求1所述的方法，還包括步驟：

從第二存儲器中讀取該數據的元數據信息，根據所讀取的元數據信息中的數據標識從第一存儲器中讀取數據，將所讀取的數據返回到客戶端。

3.如權利要求1-3任一個所述的方法，還包括：

所述第二存儲器中存儲有用于記錄數據抓取前元數據信息的第一隊列；

所述根據該數據獲取請求中的信息，從網絡中獲取數據的步驟包括：根據數據獲取請求中的信息從第一隊列中讀取抓取前元數據信息，根據所讀取的抓取前元數據信息在網絡中抓取數據。

4.根據權利要求3所述的方法，其中，

所述抓取前元數據信息包括數據的處理標識和數據的原始URL，并且至少包括下列信息之一，

數據抓取的參考信息和數據抓取的URL。

5.根據權利要求2所述的方法，其中，

所述第二存儲器中存儲有用于記錄數據抓取后元數據信息的第二隊列；

所述根據該數據獲取請求中的信息以及所獲取的數據存儲在第一存儲器中的數據標識生成該數據的元數據信息，并且將所生成的元數據信息存儲到第二存儲器中步驟包括：根據該數據獲取請求中的信息以及所獲取的數據存儲在第一存儲器中的數據標識生成該數據的抓取后元數據信息，將所生成的抓取后元數據信息存儲到第二隊列中；

所述從第二存儲器中讀取該數據的元數據信息包括：從第二隊列中讀取該數據的抓取后元數據信息。

6.一種根據來自客戶端的請求從網絡中獲取數據的設備，該設備包括：

第一存儲器，適于存儲抓取的數據；

第二存儲器，適于存儲抓取的數據的元數據信息；

抓取器，耦接到第一存儲器和第二存儲器，適于接收來自客戶端的數據獲取請求，根據該數據獲取請求中的信息，從網絡中獲取數據，將所獲取的數據存儲到第一存儲器中，以及根據該數據獲取請求中的信息以及所獲取的數據存儲在第一存儲器中的數據標識生成該數據的元數據信息，并且將所生成的元數據信息存儲到第二存儲器中。

7.如權利要求6所述的設備，所述設備還包括：

圖片處理器，耦接到第一存儲器和第二存儲器，適于從第二存儲器中讀取該數據的元數據信息，根據所讀取的元數據信息中的數據標識從第一存儲器中讀取數據，將所讀取的數據返回到客戶端。

8.如權利要求6-7中任一個所述的設備，其中，

所述第二存儲器，還適于存儲用于記錄數據抓取前元數據信息的第一隊列；

所述抓取器適于根據數據獲取請求中的信息從第一隊列中讀取抓取前元數據信息，根據所讀取的抓取前元數據信息在網絡中抓取數據。

9.根據權利要求8所述的設備，其中，

所述抓取前元數據信息包括數據的處理標識和數據的原始URL，并且至少包括下列信息之一，

數據抓取的參考信息和數據抓取的URL。

10.根據權利要求7所述的設備，其中，

所述第二存儲器適于存儲用于記錄數據抓取后元數據信息的第二隊列；

所述抓取器適于根據該數據獲取請求中的信息以及所獲取的數據存儲在第一存儲器中的數據標識生成該數據的抓取后元數據信息，將所生成的抓取后元數據信息存儲到第二隊列中；

所述圖片處理器適于從第二隊列中讀取該數據的抓取后元數據信息。