[發明專利]文件檢索方法及其系統

無效

• 申請號: 200910007312.4
• 申請日: 2009-02-11
• 公開（公告）號: CN101799805A
• 公開（公告）日: 2010-08-11
• 發明（設計）人: 鄧菁;張華;朱璇;史媛媛
• 申請（專利權）人: 三星電子株式會社;北京三星通信技術研究有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 郭鴻禧;楊靜

技術領域

本發明涉及一種自動檢索文件的方法及其系統，尤其涉及一種通過語言模型來對文件進行檢索的方法及其系統。

背景技術

近來，隨著檢索技術的不斷發展，檢索準確度越來越高，檢索范圍也變得越來越寬。傳統上，搜索引擎通過使用用戶輸入的關鍵字來計算文件的關鍵字出現頻率，并按照該頻率來輸出文件。也就是說，關鍵字出現頻率越高，文件的相關度就越大。

同時，由于基于關鍵字頻率將檢索的文件顯示給用戶，因此用戶無法得知這些文件的內容，必須由用戶逐個瀏覽這些文件以尋找需要的文件，因此無法快速獲取需要的文件。

此外，使用關鍵字檢索的文件沒有根據其內容很好地被分類，不能直觀地將文件之間的相關程度和類別顯示給用戶，從而給用戶帶來了很大的不便。

發明內容

本發明的目的在于提供一種文件檢索方法，所述方法不需要復雜的處理而通過利用預先訓練的語言模型對檢索的文件進行分類并輸出給用戶，從而用戶可直觀地找到需要的文件，極大地方便了用戶。

本發明的另一目的在于提供一種文件檢索系統，所述系統不需要復雜的系統配置而通過利用預先訓練的語言模型對檢索的文件進行分類并輸出給用戶，從而用戶可直觀地找到需要的文件，極大地方便了用戶。

本發明的一方面在于提供一種文件檢索方法，所述方法包括：輸入至少一個用戶查詢；檢索與所述用戶查詢匹配的文件；選擇所述匹配的文件，根據選擇的文件調用預先訓練的多個語言模型；計算所述選擇的文件相對于每個語言模型的復雜度分數，并將所述復雜度分數表示為文件的復雜度向量，用以對文件進行分類；輸出經過分類的文件。

所述檢索步驟可包括調用網頁爬蟲程序來讀取相關網頁，用以檢索與所述用戶查詢匹配的文件。

所述分類步驟可包括將文件的復雜度向量輸入到支持向量機SVM分類器以對文件進行分類。

所述文件檢索方法，可進一步包括步驟：基于分類的文件的相似度和所述分類的文件所屬網站的重要度對所述分類的文件進行排列。

所述文件檢索方法，可進一步包括步驟：選擇所述分類的文件之一和相應語言模型之一來計算復雜度分數，并將所述復雜度分數與預定閥值進行比較；當所述復雜度分數大于預定閥值時，訓練新的語言模型，并且當所述復雜度分數小于或等于預定閥值時，對所述相關語言模型進行再訓練。

本發明的另一方面提供一種網絡信息檢索系統，包括：輸入模塊，用以輸入至少一個用戶查詢；檢索模塊，用以檢索與所述用戶查詢匹配的文件；文件分類模塊，用以選擇所述匹配的文件，根據選擇的文件調用預先訓練的多個語言模型，計算所述選擇的文件相對于每個語言模型的復雜度分數，并將所述復雜度分數表示為文件的復雜度向量，用以對文件進行分類；輸出模塊，用以輸出檢索和分類的文件。

所述檢索模塊可調用網頁爬蟲程序來讀取相關網頁，用以檢索與所述用戶查詢匹配的文件。

所述文件分類模塊可將文件的復雜度向量輸入到支持向量機SVM分類器以對文件進行分類。

所述文件檢索系統，可進一步包括：排列模塊，用以基于分類的文件的相似度和所述分類的文件所屬網站的重要度對所述分類的文件進行排列。

所述文件檢索系統，可進一步包括：語言模型更新模塊，用以選擇所述分類的文件之一和相應語言模型之一來計算復雜度分數，并將所述復雜度分數與預定閥值進行比較，當所述復雜度分數大于預定閥值時，訓練新的語言模型，并且當所述復雜度分數小于或等于預定閥值時，對所述相關語言模型進行再訓練。

附圖說明

通過下面結合附圖進行的詳細描述，本發明的上述和其他目的和特點將會變得更加清楚，其中：

圖1是示出根據本發明示例性實施例的文件檢索系統的框圖；

圖2是示出根據本發明示例性實施例的文件檢索方法的流程圖；

圖3是示出根據本發明示例性實施例的文件分類模塊執行的分類的示例；

圖4是根據本發明示例性實施例的文件檢索結果的示例；

圖5是根據本發明另一示例性實施例的文件檢索系統的框圖；

圖6是根據本發明另一示例性實施例的文件檢索方法的流程圖。

具體實施方式

以下，參照附圖來詳細說明本發明的實施例。

圖1是示出根據本發明示例性實施例的文件檢索系統的框圖。參照圖1，根據本發明示例性實施例的文件檢索系統100包括：輸入模塊102、檢索模塊104、文件分類模塊106和輸出模塊108。

用戶通過輸入模塊102輸入用戶查詢以檢索需要的文件。