[發明專利]一種互聯網端口的整理方法及裝置

有效

• 申請號: 201410459112.3
• 申請日: 2014-09-10
• 公開（公告）號: CN104184846B
• 公開（公告）日: 2017-09-26
• 發明（設計）人: 周豐杰;康向榮
• 申請（專利權）人: 北京浩瀚深度信息技術股份有限公司
• 主分類號: H04L29/12
• 分類號: H04L29/12;H04L29/08
• 代理公司: 北京眾合誠成知識產權代理有限公司11246
• 代理人: 龔燮英

技術領域

本發明涉及互聯網技術領域，尤其涉及一種互聯網端口的整理方法及裝置。

背景技術

在基于互聯網的服務端口使用不統一不規范，常常面臨著程序員使用非常規的80端口作為http的服務端口，如:8080.8090等端口，以及為了提高訪問用戶登陸網站用戶數據的安全性，使用了http s的ssl數據加密傳輸，相當部分的網站會選擇在同一個域名底下使用http和http s兩種協議等，基于這樣兩種互聯網技術中的cache緩存技術，通常使用爬蟲程序，對互聯網頁面進行爬取，然后將頁面內的目標取出，通過判斷協議和域名后面的端口來將非http 80端口服務的域名挑出來。

然而，上述的通過爬蟲程序對非http 80端口服務的域名挑出來的技術，當頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非http 80端口的域名給取出的，從而導致cache緩存錯誤的技術問題。

因此，為了完善爬蟲程序基于某些場景下無法取出所需的非http80端口的域名的技術缺陷，本領域技術人員巫待解決前述的技術問題。

發明內容

本發明實施例提供了一種互聯網端口的整理方法及裝置，用于完善現有的爬蟲程序在某些場景下無法取出所需的非http80端口的域名的技術缺陷。

本發明實施例提供的一種互聯網端口的整理方法，包括:

獲取域名及與所述域名相對應的ip地址；

建立與所述域名相對應的中轉ip地址；

通過重定向方式將所述域名分組解析至所述中轉ip地址；

依次分析每組所述域名的端口，并提取非http80端口相對應的所述域名。

可選地，

獲取域名及與所述域名相對應的ip地址之前還包括:

提取cache緩存中的所有的所述域名。

可選地，

建立與所述域名相對應的中轉ip地址具體包括:

建立多組中轉ip地址；

將所述域名分組對應所述中轉ip地址。

可選地，

通過重定向方式將所述域名分組解析至所述中轉ip地址具體包括:

對所述域名通過nat平臺分別進行nat映射；

通過重定向方式將所述域名分組解析至所述中轉ip地址。

可選地，

依次分析每組所述域名的端口，并提取非http80端口相對應的所述域名具體包括:

通過日志分析每組所述域名；

通過所述域名和與之對應的所述中轉ip地址獲取相對應的所述端口，并寫入數據庫；

提取非http 80端口相對應的所述域名。

本發明實施例中提供的一種互聯網端口的整理裝置，包括:

獲取單元，用于獲取域名及與所述域名相對應的ip地址；

建立單元，用于建立與所述域名相對應的中轉ip地址；

解析單元，用于通過重定向方式將所述域名分組解析至所述中轉ip地址；

提取單元，用于依次分析每組所述域名的端口，并提取非http 80端口相對應的所述域名。

可選地，

所述的互聯網端口的整理裝置還包括:

提取單元，用于提取cache緩存中的所有的所述域名。

可選地，

建立單元具體包括:

建立子單元，用于建立多組中轉ip地址；

分組子單元，用于將所述域名分組對應所述中轉ip地址。

可選地，

解析單元具體包括:

映射子單元，用于對所述域名通過nat平臺分別進行nat映射；

解析子單元，用于通過重定向方式將所述域名分組解析至所述中轉ip地址。

可選地，

提取單元具體包括:

分析子單元，用于通過日志分析每組所述域名；

獲取寫入子單元，用于通過所述域名和與之對應的所述中轉ip地址的相對應的所述端口，并寫入數據庫；

提取子單元，用于提取非http80端口相對應的所述域名。

從以上技術方案可以看出，本發明實施例具有以下優點: