[發明專利]并行化分布式互聯網數據抽取方法及其系統

無效

• 申請號: 201210421574.7
• 申請日: 2012-10-29
• 公開（公告）號: CN102937988A
• 公開（公告）日: 2013-02-20
• 發明（設計）人: 楊睿塵
• 申請（專利權）人: 北京騰逸科技發展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種并行化分布式互聯網數據抽取方法，其特征在于，包括步驟：

獲取爬取得到的網頁序列，依次獲取網頁配置信息并對網頁進行數據抽取；

對數據抽取得到的內容進行編碼轉換；

對編碼轉換后的內容進行數據清洗；以及

判斷數據清洗后的內容是否信息重復，如不重復，存入數據庫。

2.如權利要求1所述的并行化分布式互聯網數據抽取方法，其特征在于，所述數據抽取是以并行化分布式的模式進行。

3.如權利要求1和2所述的并行化分布式互聯網數據抽取方法，其特征在于，所述編碼轉換包括：

將數值型信息轉換為統一長度的整數或者浮點數；

將所有的時間信息轉化為統一格式的絕對時間；以及

將單位信息轉化為統一的數據單位和度量衡。

4.如權利要求1-3所述的并行化分布式互聯網數據抽取方法，其特征在于，所述數據清洗包括：針對正文的數據清洗和針對評論的數據清洗。

5.一種并行化分布式互聯網數據抽取系統，其特征在于，包括：

數據抽取模塊，所述數據抽取模塊用于獲取爬取得到的網頁序列，依次獲取網頁配置信息并對網頁進行數據抽取；

編碼轉換模塊，所述編碼轉換模塊用于對數據抽取得到的內容進行編碼轉換；

數據清洗模塊，所述數據清洗模塊用于對編碼轉換后的內容進行數據清洗；

判斷重復模塊，所述判斷重復模塊用于判斷數據清洗后的內容是否信息重復；以及

存儲模塊，如果所述判斷重復模塊的結果為不重復，將數據清洗后的內容存入數據庫。

6.如權利要求5所述的并行化分布式互聯網數據抽取系統，其特征在于，所述數據抽取模塊為并行化分布式結構。

7.如權利要求5和6所述的并行化分布式互聯網數據抽取方法，其特征在于，所述編碼轉換模塊包括：

數值轉換子模塊，所述數值轉換子模塊用于將數值型信息轉換為統一長度的整數或者浮點數；

時間轉換子模塊，所述時間轉換子模塊用于將所有的時間信息轉化為統一格式的絕對時間；以及

單位轉換子模塊，所述單位轉換子模塊用于將單位信息轉化為統一的數據單位和度量衡。

8.如權利要求5-7所述的并行化分布式互聯網數據抽取方法，其特征在于，所述數據清洗模塊包括：正文數據清洗子模塊和評論數據清洗子模塊。