[發明專利]一種基于OCR和文本處理技術識別網貸網站的方法及系統

在審

• 申請號: 201911209962.7
• 申請日: 2019-11-29
• 公開（公告）號: CN111078979A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 陶景龍;梁淑云;劉勝;馬影;王啟凡;魏國富;徐明;殷錢安;余賢喆;周曉勇
• 申請（專利權）人: 上海觀安信息技術股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F16/958;G06K9/00;G06Q50/26;G06F40/289;G06F40/284
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 張景云

1.一種基于OCR和文本處理技術識別網貸網站的方法，其特征在于：包括以下步驟：

S101，獲取待檢測網站URL；

S102，使用爬蟲技術，對待檢測網站進行圖片爬取，并輸出URL圖片集；

S103，使用OCR技術，對爬取的圖片集進行文字提取；

S104，使用jieba分詞技術，對已提取文字進行內容過濾并分詞并將分詞翻譯成拼音，得到拼音分詞內容M；

S105，構建拼音關鍵詞庫K，利用拼音關鍵詞庫，對拼音分詞內容M，進行網貸關鍵詞匹配，輸出對應URL是否為網貸網站。

2.根據權利要求1所述的一種基于OCR和文本處理技術識別網貸網站的方法，其特征在于：所述步驟S102具體為：

S1021.使用爬蟲技術，搭建對網站圖片的爬蟲系統，記為R；

S1022.將待檢測的URL，輸入至爬蟲系統，輸出對應URL的圖片集合{P}。

3.根據權利要求1所述的一種基于OCR和文本處理技術識別網貸網站的方法，其特征在于：所述步驟S103具體為：

S1031.對圖片集合{P}內的每一張圖片進行圖像二值化，噪聲去除，傾斜較正的預處理；

S1032.使用版面分析算法將圖片分段落、分行；

S1033.使用字符切割算法處理字符粘連、斷筆造成字符難以簡單切割的問題；

S1034.使用字符特征提取算法對字符圖像提取多維的特征；

S1035.使用字符識別算法將當前字符提取的特征向量與特征模板庫進行模板粗分類和模板細匹配，識別出字符；

S1036.根據語義對已識別字符進行校正，并整理輸出成文本格式。

4.根據權利要求3所述的一種基于OCR和文本處理技術識別網貸網站的方法，其特征在于：所述步驟S104具體為：

S1041.使用jieba分詞工具，對S1036輸出的文本內容進行特殊字符過濾，然后再并分詞，最后將分詞翻譯成拼音，得到拼音分詞內容M。

5.根據權利要求4所述的一種基于OCR和文本處理技術識別網貸網站的方法，其特征在于：所述步驟S105具體為：

S1051.通過大量網貸類網站及材料，網貸業務專家整理得到網貸信息關鍵詞keywords；

S1052.使用jieba分詞工具，將S1051中的網貸信息關鍵詞庫翻譯為拼音格式，記為K；

S1053.使用FuzzyWuzzy工具針對K中的每個關鍵詞在M中進行模糊匹配，若匹配結果中出現相似度大于預設值的匹配項，則說明文本中含有網貸信息，該文本對應的URL為網貸網站，反之則該文本對應的URL非網貸網站。

6.一種基于OCR和文本處理技術識別網貸網站的系統，其特征在于：包括

URL獲取模塊，獲取待檢測網站URL；

圖片爬取模塊，使用爬蟲技術，對待檢測網站進行圖片爬取，并輸出URL圖片集；

文字提取模塊，使用OCR技術，對爬取的圖片集進行文字提取；

分詞模塊，使用jieba分詞工具，對S1036輸出的文本內容進行特殊字符過濾，并分詞然后進行拼音翻譯，得到拼音分詞內容，記為集合M；

匹配模塊，構建拼音關鍵詞庫K，利用拼音關鍵詞庫，對拼音分詞內容，進行網貸關鍵詞匹配，輸出對應URL是否為網貸網站。

7.根據權利要求6所述的一種基于OCR和文本處理技術識別網貸網站的系統，其特征在于：所述圖片爬取模塊中具體執行過程為：

先使用爬蟲技術，搭建對網站圖片的爬蟲系統；再將待檢測的URL，輸入至爬蟲系統，輸出對應URL的圖片集合{P}。