[發明專利]一種搜索方法和系統

有效

• 申請號: 200710073220.7
• 申請日: 2007-02-06
• 公開（公告）號: CN101079056A
• 公開（公告）日: 2007-11-28
• 發明（設計）人: 楊海松;劉致遠;劉云峰
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市順天達專利商標代理有限公司
• 代理人: 郭偉剛;蔡曉紅

1、一種搜索方法，其特征在于，在建立或更新索引數據庫時，執行以下步驟：

A1，讀取一個網頁正文，去掉停用詞后進行分詞；

A2，對分詞得到的詞條的各種組合進行詞頻統計；

A3，輸出頻次大于設定閾值的組合詞條，并保存到復合詞表中；

A4，對復合詞表中頻次大于設定閾值的復合詞建立索引。

2、根據權利要求1所述的搜索方法，其特征在于：在步驟A1中，網頁正文中至少去掉停用詞后的詞條為有效詞條。

3、根據權利要求1所述的搜索方法，其特征在于：步驟A1中，在分詞前首先將網頁正文轉換為標準數據格式，然后至少進行過濾腳本標示符和廣告信息的操作。

4、根據權利要求3所述的搜索方法，其特征在于：步驟A1中，對轉換為標準數據格式的網頁正文去掉停用詞和虛詞后進行分詞。

5、根據權利要求1所述的一種搜索方法，其特征在于：所述復合詞為二元以上的組合詞條。

6、根據權利要求1所述的搜索方法，其特征在于，進一步包括步驟：

B1，在接收到檢索詞后，根據復合詞表對輸入的檢索詞進行分詞；所述復合詞表包括頻次大于設定閾值的所有復合詞。

7、一種搜索系統，包括順次相連的自動從互聯網提取信息的網頁抓取模塊、用以保存提取信息的網頁數據庫、索引模塊、索引數據庫和搜索模塊；所述索引模塊包括用以將輸入網頁中不同的數據格式轉換為標準數據格式的文檔預處理單元、用以對轉換格式后的網頁內容進行分詞處理的分詞單元和索引建立單元；其特征在于：

所述索引模塊還包括詞頻統計單元，用于對所述分詞單元輸出的詞條的各種組合進行詞頻統計，并將頻次大于設定閾值的組合詞條輸出到索引建立單元，由索引建立單元對所述組合詞條建立索引；所述索引數據庫用于存儲所述索引建立單元建立的索引；所述搜索模塊負責在用戶輸入檢索詞搜索后，分解搜索請求，從所述索引數據庫中找到符合該檢索詞的所有相關網頁，進行計算和排序后返回給用戶。

8、根據權利要求7所述的搜索系統，其特征在于：所述索引數據庫中還存儲有復合詞表，所述復合詞表中存儲著所述詞頻統計單元輸出的組合詞條。

9、根據權利要求8所述的搜索系統，其特征在于：

所述搜索模塊包括順次相連的檢索詞分詞單元、搜索單元和結果處理單元；

所述檢索詞分詞單元用于根據所述復合詞表對輸入的檢索詞進行分詞，并將分詞后詞條輸出到所述搜索單元；

所述搜索單元用于將所述分詞后詞條作為關鍵詞在索引數據庫中進行索引查詢，并將查詢結果發送到所述結果處理單元；

所述結果處理單元用于對所述查詢結果進行求并集、求交集，排序后發送到操作窗口進行顯示。