[發明專利]通配符類模板泛化方法和裝置、通用模板泛化方法和系統

有效

• 申請號: 201110452249.2
• 申請日: 2011-12-29
• 公開（公告）號: CN103186509A
• 公開（公告）日: 2013-07-03
• 發明（設計）人: 黃際洲;鐘華
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

1.一種通配符類模板泛化方法，其特征在于，對模板泛化所采用語料中的各文本對象分別執行以下步驟：

S11、對當前文本對象進行分詞處理；

S12、利用分詞結果中相鄰詞項粘接成一個詞項的所有可能的組合，確定各粘接結果，該粘接結果中包含所述分詞結果；

S13、分別針對各粘接結果，將粘接結果中所有進行粘接的相鄰詞項的粘接概率以及保持拆分的相鄰詞項的拆分概率相乘得到粘接結果的概率；

S14、基于概率最大的粘接結果確定通配符槽和固定詞語，得到當前文本對象的通配符類模板。

2.根據權利要求1所述的方法，其特征在于，在所述步驟S12中參與粘接的相鄰詞項為：字與字之間，和/或，字與詞之間。

3.根據權利要求1所述的方法，其特征在于，在所述步驟S13中，如果相鄰詞項分別為A和B，則A和B的粘接概率P(A+B)和拆分概率P′(A-B)分別為：

P(A+B)＝P(A|B)×P′(B|A)

P(A-B)＝(1-P(A|B))×(1-P′(B|A))

其中，P(A|B)為A出現在B前面的次數與B出現且B之前有詞項的次數的比值，P′(B|A)為A出現在B前面的次數與A出現且A之后有詞項的次數的比值。

4.根據權利要求1所述的方法，其特征在于，所述步驟S14具體為：

將所述概率最大的粘接結果中，詞頻tf-逆向文檔頻率idf值小于預設閾值的詞項，或者tf-idf值小于預設閾值且排在后N個的詞項替換為通配符槽，其余詞項作為固定詞語，所述通配符槽指示的通配符長度為被替換詞項的長度，所述N為預設的正整數。

5.根據權利要求1所述的方法，其特征在于，該方法還包括：對所述語料中的各文本對象的通配符類模板進行整合，具體為：將僅通配符槽指示通配符長度不同的通配符類模板整合為一個模板，整合后的模板中通配符槽指示的通配符長度為被整合通配符類模板中指示的最大通配符長度。

6.一種通用模板泛化方法，其特征在于，該方法包括如權利要求1至4任一權項所述的通配符類模板泛化方法，以及，

S2、對模板泛化所采用語料中的各文本對象進行詞典類模板泛化，得到各文本對象的詞典類模板；和/或，對模板泛化所采用語料中的各文本對象進行函數類模板泛化，得到各文本對象的函數類模板；

S4、對同一文本對象得到的各模板進行合并處理。

7.根據權利要求6所述的通用模板泛化方法，其特征在于，在所述步驟S4中采用以下策略中的至少一種進行所述合并處理：

策略一、如果同一個文本對象泛化出的模板中，同一個詞項被泛化成多種類型的槽，則按照預設的槽類型優先級順序保留其中一種類型的槽；

策略二、如果同一個文本對象泛化出的模板中，詞典槽包含通配符槽或函數槽，則保留詞典槽；

策略三、如果同一個文本對象泛化出的模板中各槽均沒有相互覆蓋，則在合并結果中保留所有槽。

8.根據權利要求6所述的通用模板泛化方法，其特征在于，在所述步驟S4之后還包括：

S5、合并重復的模板；

S6、統計各模板所來源的文本對象數量，選擇所來源的文本對象數量滿足預設要求的模板作為最終的泛化結果；

其中所述預設要求為：所來源的文本對象數量排在前M個，M為預設的正整數，或者，所來源的文本對象數量大于預設的數量閾值。

9.一種通配符類模板泛化裝置，其特征在于，該裝置包括：

分詞處理單元，用于分別獲取模板泛化所采用語料中的各文本對象，對獲取的當前文本對象進行分詞處理；

粘接處理單元，用于利用分詞結果中相鄰詞項粘接成一個詞項的所有可能的組合，確定各粘接結果，該粘接結果中包含所述分詞結果；

概率計算單元，用于分別針對各粘接結果，將粘接結果中所有進行粘接的相鄰詞項的粘接概率以及保持拆分的相鄰詞項的拆分概率相乘得到粘接結果的概率；

模板產生單元，用于基于概率最大的粘接結果確定通配符槽和固定詞語，得到所述當前文本對象的通配符類模板。

10.根據權利要求9所述的裝置，其特征在于，所述粘接處理單元在確定粘接結果時，參與粘接的相鄰詞項為：字與字之間，和/或，字與詞之間。