[發明專利]便利內容檢索服務系統內本體和語言模型生成的信息獲取和匯聚方法及子系統

無效

• 申請號: 200980118218.4
• 申請日: 2009-03-19
• 公開（公告）號: CN102119383A
• 公開（公告）日: 2011-07-06
• 發明（設計）人: D·巴杰倫;V·舍梅布爾卡爾;N·C·斯蒂洛;J·湯普森
• 申請（專利權）人: 德爾夫網絡有限公司
• 主分類號: G06F17/21
• 分類號: G06F17/21;G06F17/30;G06F17/00
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 劉瑜;王英

1.一種內容檢索服務系統的信息匯聚和分類組件，所述信息匯聚和分類組件包括：

文檔分類器；

文檔分類器構造器子組件，所述文檔分類器構造器子組件使用經歸類和處理的文檔集來構造所述文檔分類器；以及

信息匯聚器子組件，所述信息匯聚器子組件

從電子信息源獲得未歸類文檔，

過濾所述未歸類文檔以產生一組標準化文本文檔，

向所述標準化文本文檔應用索引器以生成每個標準化文本文檔的詞語向量；

輸入針對所述一組標準化文本文檔中每個標準化文本文檔計算的所述詞語向量，以向所述標準化文本文檔指派種類；以及

將每個不同種類的標準化文本文檔匯聚在一起以產生每個種類的標準化文本文檔包。

2.如權利要求1所述的信息匯聚和分類組件，其中所述文檔分類器是樸素貝葉斯文檔分類器。

3.如權利要求1所述的信息匯聚和分類組件，其中所述文檔分類器構造器子組件：

從電子信息源獲得文檔，每個所述文檔被指派了種類，

過濾所述文檔以產生一組標準化文本文檔，

向所述標準化文本文檔應用索引器以生成每個標準化文本文檔的詞語向量；

為每個種類的文檔計算累積詞語分布；以及

將每個標準化文本文檔，與針對所述標準化文本文檔計算的詞語向量和被指派給所述文本文檔的種類，以及每個種類的文檔的所述累積詞語分布一起輸入到所述文檔分類器，以訓練所述文檔分類器識別要指派給輸入的標準化文本文檔/詞語向量對的種類。

4.如權利要求1所述的信息匯聚和分類組件，其中所述信息匯聚器子組件使用網絡抓取器來從電子信息源獲得未歸類文檔。

5.如權利要求1所述的信息匯聚和分類組件，其中，對于每個文檔，所述信息匯聚器子組件通過以下操作來過濾所述未歸類文檔以產生一組標準化文本文檔：

從所述文檔移除非文本項和符號以產生文本文檔；

解析所述文本以將所述文本文檔的所述文本組織為段落和段落中的句子，從而產生段句分界的文本文檔；

向所述段句分界的文本文檔應用語言解析例程，以從所述文本移除非名詞詞語，從而產生僅有名詞和名詞性短語的文本文檔；以及

應用語言例程來標準化所述僅有名詞和名詞性短語的文本文檔中的詞語，并從經標準化的詞語中過濾無用詞語以產生標準化文本文檔。

6.如權利要求1所述的信息匯聚和分類組件，其中每個詞語向量包含每個詞語在標準化文本文檔中的出現計數。

7.如權利要求1所述的信息匯聚和分類組件，其中每個標準化文本文檔包是帶日期戳或日期/時間戳的，以指示所述標準化文本文檔包被準備的日期或日期和時間。

8.一種內容檢索服務系統的本體構建器組件，所述本體構建器組件：

接收日期或日期/時間以及對種類的指示；

從歸類文本文檔儲存組件請求標準化文本文檔的包，所述標準化文本文檔的包具有的日期或日期/時間戳的值接近所接收的日期或日期時間，并且與所接收的種類相關聯；

為所述種類的文本文檔的詞匯表內每個有向詞語對計算多個同現值；

歸一化所述有向詞語對中每個第一詞語的同現值；

計算每個詞語的權重；

將所計算的每個詞語的權重應用到有向詞語對的經歸一化的同現值，在所述有向詞語對中，所述詞語作為所述有向詞語對中的第一詞語出現；以及

將一組應用有權重、標準化的同現值作為本體儲存在本體儲存組件中。

9.如權利要求8所述的本體構建器組件，其中同現值是為每個有向詞語對、針對所述詞語一起出現在所述標準化文本文檔的句子中、在所述標準化文本文檔的段落中以及在整個標準化文本文檔中的頻率而計算的。

10.如權利要求8所述的本體構建器組件，其中詞語的所述權重與所述詞語在所述標準化文本文檔中的總出現成反比。

11.如權利要求8所述的本體構建器組件，其中歸一化所述有向詞語對中每個第一詞語的同現值還包括：計算每個有向詞語對相對于所述有向詞語對的總同現次數的比例性同現。