[發明專利]一種Ajax網頁內容的抓取方法及系統

有效

• 申請號: 200910133630.5
• 申請日: 2009-04-02
• 公開（公告）號: CN101515300A
• 公開（公告）日: 2009-08-26
• 發明（設計）人: 毛雯
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司
• 代理人: 逯長明;王寶筠

1.一種Ajax網頁內容的抓取方法，其特征在于，包括：

獲取網頁代碼信息；

提取所述網頁代碼信息中的JavaScript信息；

解析所述JavaScript信息，確定所述網頁代碼中包含Ajax調用的函數；

觸發所確定的包含Ajax調用的函數，獲得由所述包含Ajax調用的函數生成的網頁內容；

所述JavaScript信息，包括JavaScript文件和/或JavaScript代碼；

所述提取網頁代碼信息中的JavaScript信息，包括：

查詢網頁代碼中的JavaScript標記；

如果JavaScript標記后的JavaScript信息為JavaScript代碼，則提取所述JavaScript代碼，將所提取的代碼保存于JavaScript文件中；

如果JavaScript標記后的JavaScript信息為JavaScript文件，則提取所述JavaScript文件的存放路徑和文件名。

2.根據權利要求1所述的方法，其特征在于，解析所述JavaScript信息，確定所述網頁代碼中包含Ajax調用的函數，包括：

根據Ajax特征值，確定所述JavaScript文件中所定義的包含Ajax調用的函數；進一步在這些函數中，確定網頁代碼中包含Ajax調用的函數；

其中，所述Ajax特征值為：可標識函數中存在Ajax調用的代碼段。

3.根據權利要求2所述的方法，其特征在于，所述Ajax特征值包括：

使用JavaScript框架類型調用Ajax所對應的特征值，和/或不使用JavaScript框架類型調用Ajax所對應的特征值。

4.根據權利要求2所述的方法，其特征在于，所述確定JavaScript文件中所定義的包含Ajax調用的函數，包括：

確定在頁面引用中的非JavaScript框架文件中所定義的包含Ajax調用的函數。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述觸發所獲得的包含Ajax調用的函數，包括：

通過模擬用戶操作，觸發所獲得的包含Ajax調用的函數。

6.一種Ajax網頁內容抓取系統，其特征在于，包括：

網頁代碼獲取單元，用于獲取網頁代碼信息；

腳本提取單元，用于提取所述網頁代碼信息中的JavaScript信息；

腳本解析單元，用于解析所述JavaScript信息，確定所述網頁代碼中包含Ajax調用的函數；

網頁內容獲得單元，用于觸發所確定的包含Ajax調用的函數，獲得由所述包含Ajax調用的函數生成的網頁內容；

所述JavaScript信息，包括JavaScript文件和/或JavaScript代碼；

所述腳本提取單元，包括：

查詢子單元，用于查詢網頁代碼中的JavaScript標記；

第一提取子單元，用于在JavaScript標記后的JavaScript信息為JavaScript代碼時，提取所述JavaScript代碼，將所提取的代碼保存于JavaScript文件中；

第二提取子單元，用于在JavaScript標記后的JavaScript信息為JavaScript文件時，提取所述JavaScript文件的存放路徑和文件名。

7.根據權利要求6所述的系統，所述腳本解析單元，包括：

第一確定子單元，用于根據Ajax特征值，確定所述JavaScript文件中所定義的包含Ajax調用的函數；所述Ajax特征值為：可標識函數中存在Ajax調用的代碼段；

第二確定子單元，用于進一步在所述第一確定子單元所確定的函數中，確定網頁代碼中包含Ajax調用的函數。

8.根據權利要求7所述的系統，其特征在于，所述Ajax特征值包括：

使用JavaScript框架類型調用Ajax所對應的特征值，和/或不使用JavaScript框架類型調用Ajax所對應的特征值。

9.根據權利要求7所述的系統，其特征在于，

所述第一確定子單元，用于確定在頁面引用中的非JavaScript框架文件中所定義的包含Ajax調用的函數。

10.根據權利要求6至9任一項所述的系統，其特征在于，

所述網頁內容獲得單元，用于通過模擬用戶操作，觸發所獲得的包含Ajax調用的函數，獲得由所述包含Ajax調用的函數生成的網頁內容。