[發明專利]一種違規在線商品檢測方法

有效

• 申請號: 201210078995.4
• 申請日: 2012-03-22
• 公開（公告）號: CN102663025A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 張蘭蘭;田寧;譚磊;劉崟
• 申請（專利權）人: 浙江盤石信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q30/00
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;王利強

技術領域

本發明涉及計算機網絡技術，尤其是一種違規在線商品檢測方法。

背景技術

近年來電子商務飛速發展，網絡購物顛覆了傳統的購物方式。互聯網用戶可以通過網絡獲取更廣大的購物空間，突破地域的限制，可以隨時購買自己想要的東西，沒有營業時間的限制；可以按照自己需要的類別進行挑選，比對不同的價格，實現真正的自主購物；雖然看不到實物，選擇的過程中可以參照已購者的評價和專家的建議，不用和商家進行接觸，避免了討價還價的環節中可能出現的摩擦和精神消耗，而且支付也異常快捷，可以避免現實中錢財被盜的現象，足不出戶便可買到自己所需要的商品，網絡購物可謂是省時省力。

網上購物因為方便快捷逐漸成為大家喜愛的一種購物方式，但是面對網絡這樣一種虛擬的環境，不免也存在一些信息的可信度問題。比如說商品的真偽，商品的描述故意夸大其功能，商品信息的描述隱含了非法內容等，商家經營權限的自主擴大，這些都嚴重擾亂了電子商務的次序，對消費者的合法權益造成傷害，對電子工商部門的監管帶來了挑戰。

現存的違規在線商品的智能判斷方法，主要是利用元搜索引擎抽取商品的信息，返回的信息來自多個搜索引擎，需要做排重和重新排序處理后作為自己的搜索結果返回，篩選工作復雜而且信息處理是在信息抓取完成后進行，不具有即時性，對商品信息的抽取時采用正則表達式匹配進行抽取，不適合多變的頁面模式。

發明內容

為了克服已有違規在線商品檢測方法的計算復雜、不具有即時性、不適合多變的頁面模式的不足，本發明提供一種簡化計算、具有即時性、適合多變的頁面模式的違規在線商品檢測方法。

本發明解決其技術問題所采用的技術方案是：

一種違規在線商品檢測方法，所述檢測方法包括以下步驟：

(1)通過網絡爬蟲對待檢測在線商品所在頁面的信息進行爬取：

(11)對頁面內容及頁面URL進行分析，計算頁面與商品信息主題的相關度并設定閥值，過濾掉與主題相關度小于閥值的頁面，保留與主題密切的鏈接放入隊列，根據優先級從隊列選取鏈接爬取，直到存放頁面URL的隊列為空為止；

(12)對網絡爬蟲抓取的HTML網頁，利用HTMLCleaner解析其結構層次關系，獲取頁面的DOM樹結構，并刪除形式標簽，分析頁面的結構；

(2)通過分析待檢測在線商品所在的電子商務網站的DOM樹結構，查找網頁中與商品相關的信息在DOM樹中的位置，并通過分析商品信息在DOM樹中的位置，找到包含網頁中多個結構相似的信息塊的最小深度的節點作為臨界節點，形成相關聯信息點進行抽取的規則：

(a)臨界節點只可能是塊類型節點的子集，不可能是其他類型節點；

(b)臨界節點的孩子節點中必然同時包括文本類節點、圖片類型節點及樣式類型節點；

(c)臨界節點的兄弟節點必然大于等于2，且兄弟節點和當前邊界節點有相同的節點名稱及相似的屬性；

根據抽取的規則建立模板，從爬蟲獲取的網頁信息中提取商品屬性信息數據；

(3)建立語義字典：首先對產品標記和產品屬性采用人工方法進行語義提取，形成語義字典的靜態部分；其次對電子商務產品涉及的概念，結合產品分類體系進行人工語義提取與構建；最后在人工構造初級字典的基礎上，對語義字典進行擴充；

對提取的商品屬性信息進行分詞采用基于字符匹配的方法，在匹配詞和分字典過程中采用二分查找，若檢索詞在字典中，返回表示結果的對象，此對象為詞，則返回查找結果并儲存，若不是一個詞，則查找返回以所查詢詞開頭位置最靠前的詞；若不在字典，檢查以給定字符串開頭的其他詞返回；

(4)采用人工建立違規語義庫，通過函數IllegalList，將違規語義庫中的詞匯和經過分詞的商品屬性信息相關內容詞語字段進行比對識別判斷，根據函數返回的結果，判定違規在線商品的違規類別。

進一步，所述步驟(11)中，計算網頁與商品信息主題相關度公式：