[發明專利]一種判斷html網頁為非文本類型的方法

無效

• 申請號: 201310608481.X
• 申請日: 2013-11-26
• 公開（公告）號: CN103593463A
• 公開（公告）日: 2014-02-19
• 發明（設計）人: 楊育斌;柯宗貴;李佳
• 申請（專利權）人: 藍盾信息安全技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及計算機網絡數據技術領域，尤其涉及一種判斷html網頁為非文本類型的方法。

背景技術

要識別網頁是否為非文本類型，僅僅從鏈接的后綴進行區分，是無法做到穩定識別的。必須分析該網頁的內容，分析其內容是否含有不可識別的字符，也就是俗稱亂碼的內容。

發明專利ZL200810180824.6公開了一種同話題定位跟蹤式論壇爬蟲系統，通過分析URL鏈接名稱中是否包含一些非文本類型的后綴，如wav,jpg,ocx等，來分析該鏈接是否為非文本類型的網頁。該發明的關注點為URL的名稱，而非URL對應網頁的內容，只是簡單通過分析URL鏈接的名字，來確定網頁是否為非文本類型，具有較大的誤差。

發明內容

本發明的目的是為了克服現有技術的缺陷，提供一種判斷html網頁為非文本類型的方法，該方法包括以下步驟：

Step1：下載URL對應的網頁；

Step2：判斷該網頁的編碼，轉換成對應的編碼網頁；

Step3：與特征庫進行對比，判斷網頁中是否出現了特征庫中的亂碼特征字符，若出現亂碼特征字符就判定為非文本類型，否則再判斷是否出現了連續的亂碼字符，若出現連續的亂碼字符就判定為非文本類型，否則為文本類型。

本發明技術方案帶來的有益效果：

本發明技術方案通過使用特征庫匹配、連續亂碼字符段匹配等手段，識別網頁的正確編碼，并進行自動轉碼，即使網頁中未包含編碼說明，仍能正常識別網頁的編碼是否為非文本類型，識別率高且穩定。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖。

圖1是本發明的一種判斷html網頁為非文本類型的方法的流程圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

在對web業務系統進行流程監控及分析時，需要分析的內容通常都是網頁中的文本內容，因此需要智能的對非文本內容的網頁進行識別。通過本發明的一種判斷html網頁為非文本類型的方法，能夠自動、無人值守的識別WEB網站中的非文本類型的網頁、URL鏈接，如圖片、音樂、FLASH文件、二進制文件等。

本發明的主要創新點在于通過內容分析及非文本字符特征庫，能夠智能的識別網頁的編碼，并識別出是否為非文本類型。如圖1所示為本發明的方法流程圖，具體步驟為：

Step1：下載URL對應的網頁；

Step2：判斷該網頁的編碼，轉換成對應的編碼網頁；

Step3：與特征庫進行對比，判斷網頁中是否出現了特征庫中的亂碼特征字符，若出現亂碼特征字符就判定為非文本類型，否則再判斷是否出現了連續的亂碼字符，若出現連續的亂碼字符就判定為非文本類型，否則為文本類型。

本發明方法能夠識別網頁的正確編碼，并進行自動轉碼，即使網頁中未包含編碼說明，如charset=utf-8等，仍可正常識別網頁的編碼。

本發明還收集了常見的亂碼特征符，能夠快速的識別網頁是否為非文本類型。

本發明即使出現生僻字符，只要不是連續出現，也不會被識別為非文本，避免了因網頁偶然出現的生僻字而影響識別率。

以上對本發明實施例所提供的一種判斷html網頁為非文本類型的方法進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。