[發明專利]一種數據編碼類型識別及轉碼方法和裝置

有效

• 申請號: 201510249023.0
• 申請日: 2015-05-15
• 公開（公告）號: CN104994128B
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 王照旗;劉巖
• 申請（專利權）人: 北京網康科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京市邦道律師事務所 11437
• 代理人: 薛艷;王麗影

本發明提供了一種數據編碼類型識別及轉碼方法，包括：提取用戶操作產生的網絡報文中的關鍵數據，對所述關鍵數據進行解碼；確定所述關鍵數據解碼后的數據對應的編碼類型；根據所述編碼類型，對所述關鍵數據解碼后的數據進行轉碼。本發明還提供了一種數據編碼類型識別及轉碼裝置。

技術領域

本發明涉及網絡安全技術，尤其涉及一種統一定位符(URL)數據的數據編碼類型識別及轉碼方法和裝置。

背景技術

隨著網絡技術的快速發展，越來越多的用戶使用手機、計算機及平板電腦等設備上網，用戶一般情況下會通過瀏覽器(如IE瀏覽器、Firefo瀏覽器及Chrome瀏覽器等)瀏覽網頁或提交數據，或者采用網絡應用軟件(淘寶網軟件、京東網軟件以及當當網軟件)提交數據。在網絡安全和上網行為管理領域中，為了快速預防網絡犯罪行為，常常需要獲取并分析用戶通過瀏覽器和應用軟件所產生的網絡數據，而大部分網絡數據通常由UTF8和GB18030編碼后經過URLENCODE再次編碼，其中，GB18030編碼又包含GBK編碼和GB2312編碼；因此，在還原用戶數據時，需要對網絡數據進行URLDECODE解碼，而解碼后的用戶數據通常為UTF8或GB18030編碼不等，故此，如何有效和準確的識別用戶數據的編碼類型，將用戶數據展現出來，是目前亟待解決的問題。

現有的網絡數據編碼識別方案主要限于以下幾種：

1)在用戶提交表單或下載數據時，數據報文中會帶有charset字樣，提取charset對應的編碼類型可以對數據報文進行編解碼，如果未提取到charset字樣的編碼類型，則會采用預先設定的編碼類型對數據報文進行編解碼。但是，針對沒有charset字樣的數據報文，在沒有預設的編碼類型或者預設的編碼類型錯誤的情況下，會直接造成數據亂碼；并且，上述方法需要定期的更新和維護預設地編碼類型，維護成本高，準確率較低。

2)通過待編碼網頁的參考編碼數組以及本地預設的備選編碼數組，確定出 包含在該參考編碼數組和該備選編碼數組中的一種編碼類型作為待編碼網頁的編碼類型；但這種獲取數據編碼類型的方法對參考編碼數組和備選編碼數組的依賴性較大，如果數據報文不符合該參考編碼或備選編碼的編碼類型，則會造成數據亂碼；且該方式依賴于瀏覽器，需要用戶去選擇“自動檢測文字編碼”選項，用戶感知較強，無法達到無感知的自動檢測文字編碼，且需要不斷的更新和維護參考編碼數組和備選編碼數組，成本較大。

3)通過將輸入需要解碼的URL字符串數按不同的編碼方式進行解碼，得到不同的URL字符串，再對這些不同的URL字符串按其對應的解碼方式進行編碼，將編碼后不同的URL字符串與輸入需要解碼的編碼后的URL字符串對比，如果編碼后不同的URL字符串其中之一與輸入需要解碼的編碼后的URL字符串相同，則輸入需要解碼的編碼后的URL字符串的編碼類型為前者的編碼類型。但是，采用該編碼類型識別方案，假如輸入需要解碼的URL字符串滿足UTF8編碼和GB18030編碼重疊編碼區間，或同時滿足多種編碼類型的編碼范圍，按照此方案中將該URL數據按多種解碼方式解碼，再按多種編碼方式編碼，則會出現多對原始URL字符串與再次編碼后的數據一致的情況，當出現此情況時，將無法識別出正確的數據編碼類型。

因此，目前的編碼類型識別方案都存在明顯的缺陷：準確率低，維護成本高，容易造成數據亂碼。

發明內容

有鑒于此，本發明實施例期望提供一種數據編碼類型識別及轉碼方法，能夠提高數據編碼識別的準確率，減少亂碼，提高數據編碼類型識別及轉碼效率，降低維護成本。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明實施例提供了一種數據編碼類型識別及轉碼方法，所述方法包括：

提取用戶操作產生的網絡報文中的關鍵數據，對所述關鍵數據進行解碼；

確定所述關鍵數據解碼后的數據對應的編碼類型；